TW202107893A - 使用內預測之寫碼技術 - Google Patents

使用內預測之寫碼技術 Download PDF

Info

Publication number
TW202107893A
TW202107893A TW109119957A TW109119957A TW202107893A TW 202107893 A TW202107893 A TW 202107893A TW 109119957 A TW109119957 A TW 109119957A TW 109119957 A TW109119957 A TW 109119957A TW 202107893 A TW202107893 A TW 202107893A
Authority
TW
Taiwan
Prior art keywords
intra
prediction
predetermined
block
prediction modes
Prior art date
Application number
TW109119957A
Other languages
English (en)
Other versions
TWI727826B (zh
Inventor
強納森 帕雅夫
托比亞斯 辛茲
菲利浦 希利
飛利浦 馬克爾
柏喬恩 史泰倫柏格
麥可 夏佛
班傑明 布洛斯
馬汀 文肯
米斯洽 希克曼
希可 史瓦茲
迪特利夫 馬皮
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202107893A publication Critical patent/TW202107893A/zh
Application granted granted Critical
Publication of TWI727826B publication Critical patent/TWI727826B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明揭示用於高效地對一圖像之一區塊進行基於區塊之預測的技術,如用於使用內預測解碼一圖像之一預定區塊之一設備,該設備經組配以自資料串流導出指示是否使用包含一DC內預測模式及角預測模式之內預測模式之一第一集合中之一者來預測該預定區塊的一集合選擇性語法元素。若該集合選擇性語法元素指示使用內預測模式之該第一集合中之一者來預測該預定區塊,則該設備經組配以基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之一清單,自該資料串流導出在最可能的內預測模式之該清單中指向一預定內預測模式之一MPM清單索引,以及使用該預定內預測模式對該預定區塊進行內預測。若該集合選擇性語法元素指示並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則該設備經組配以自該資料串流導出指示來自基於矩陣之內預測模式之一第二集合之一預定的基於矩陣之內預測模式的一另一索引,計算自該預定區塊之一鄰域中之參考樣本導出之一向量及與該預定的基於矩陣之內預測模式相關聯之一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量,以及基於該預測向量預測該預定區塊之樣本。基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單,使得在藉由該等角度內預測模式中之任一者預測該等相鄰區塊之情況下,最可能的內預測模式之該清單不含該DC內預測模式。

Description

使用內預測之寫碼技術
發明領域
本申請案係關於內預測領域。實施例係關於用於產生最可能的模式清單的有利方式。
發明背景
現今,存在產生最可能的模式清單之不同方式。然而,出現最後使用之內預測模式並不在此清單內使得需要傳輸額外語法元素之情形的機率仍然較高。
因此,面臨著最佳化最可能的模式清單之產生及/或改良寫碼效率的問題。
此目標係藉由本申請案之獨立申請專利範圍的主題來達成。
根據本發明之其他實施例係由本申請案之附屬申請專利範圍的主題界定。
發明概要
根據本發明之第一態樣,本申請案之諸位發明人意識到,當形成最可能的內預測模式清單時遇到的一個問題為不大可能的預測模式佔據寶貴的清單位置,從而不利地影響寫碼效率並提高出現最後用於預測預定區塊之內預測模式並不在此清單內之情形之可能性。根據本申請案之第一態樣,藉由基於與預定區塊相鄰之已經預測之相鄰區塊形成最可能的內預測模式之清單而克服此困難。因此,可省略不大可能的內預測模式。可預期類似於相鄰區塊之內預測模式的預定區塊之內預測模式的高機率。尤其,在藉由任何角度內預測模式預測相鄰區塊中之至少一者的情況下,該清單不含DC內預測模式。這使得具有廣泛各種角度內預測模式之最可能內預測模式之清單能夠提高待用於預定區塊之內預測模式在清單中之可能性。此外,基於矩陣之內預測模式形成例如內預測模式之單獨的第二集合,其未被視為最可能內預測模式之清單,且因此不會與內預測模式之第一集合中之內預測模式競爭最可能內預測模式之清單中之位置。
因此,根據本申請案之第一態樣,一種用於使用內預測解碼圖像之預定區塊之設備經組配以自資料串流導出指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者來預測預定區塊的集合選擇性語法元素。任擇地,除DC內預測模式之外或替代DC內預測模式,內預測模式之第一集合可包含平面內預測模式。若該集合選擇性語法元素指示使用內預測模式之第一集合中之一者來預測預定區塊,則該設備經組配以基於在預測與該預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,自資料串流導出在最可能內預測模式之清單中指向預定內預測模式的MPM (亦即,最可能模式)清單索引,以及使用該預定內預測模式對該預定區塊進行內預測。換言之,在此情況下,該設備經組配以基於用於預測與該預定區塊相鄰之相鄰區塊之內預測模式形成最可能內預測模式之清單。若該集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者來預測預定區塊,則該設備經組配以藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量並基於該預測向量預測預定區塊之樣本而自資料串流導出指示來自基於矩陣之內預測模式之第二集合(亦即包含基於矩陣之內預測模式,亦即基於區塊之內預測模式之內預測模式之第二集合)之預定的基於矩陣之內預測模式的另一索引。在此情況下,舉例而言,該預測類似於或等於相對於圖5至圖11之實施例所描述之ALWIP預測。該設備經組配以執行基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。換言之,該設備經組配以執行基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在專門藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。因此,DC內預測模式並不佔據最可能內預測模式之清單中之位置,若幾率較小,則DC內預測模式經選擇用於預定區塊。
藉由此設備,引入用於判定用於預定區塊之內預測模式的有利且高效的方式。尤其,提出對預測與預定區塊相鄰之相鄰區塊以用於形成最可能內預測模式之清單的有利分析,其中該等相鄰區塊已經預測。
根據一實施例,該設備經組配以執行基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得僅在以下情況下以DC內預測模式填充最可能內預測模式之清單:對於相鄰區塊中之每一者,將使用包含DC內預測模式的第一集合內之至少一個非角度內預測模式中之任一者預測或使用基於區塊之內預測模式中之任一者(其藉助於自基於區塊之內預測模式之第二集合至第一集合內之內預測模式之映射用於形成最可能內預測模式之清單)預測的個別相鄰區塊映射至至少一個非角度內預測模式中之任一者。換言之,在使用內預測模式之第一集合中之至少一個非角度內預測模式中之任一者預測所有相鄰區塊,例如二個相鄰區塊的情況下,最可能內預測模式之清單包含DC內預測模式。替代地,在使用內預測模式之第二集合中之基於區塊之內預測模式中之任一者預測所有相鄰區塊,例如二個相鄰區塊的情況下,最可能內預測模式之清單包含DC內預測模式,其中該基於區塊之內預測模式自基於區塊之內預測模式之第二集合映射至第一集合內之非角度內預測模式。根據一實施例,該設備經組配以將DC內預測模式定位在最可能內預測模式之清單中之任一角度內預測模式之前。此係基於以下想法:在上文所描述之情況下,DC內預測模式為用於預定區塊之最可能模式,此定位藉此提高寫碼效率。
根據一實施例,該設備經組配以自資料串流導出MPM語法元素並僅在該MPM語法元素指示內預測模式之第一集合中之預定內預測模式在最可能內預測模式之清單內的情況下形成最可能內預測模式之清單。藉由此特徵,提高寫碼效率,由於最可能內預測模式之清單僅在必需或有利時形成。
若使用內預測模式之第二集合中之一者預測預定區塊,則根據一實施例,該設備經組配以形成最可能的基於區塊之內預測模式之清單。在此情況下,該設備例如經組配以自資料串流導出在最可能的基於區塊之內預測模式之清單中指向預定的基於矩陣之內預測模式,亦即預定的基於區塊之內預測模式的另一MPM清單索引。任擇地,僅在自資料串流導出之另一MPM語法元素指示預定的基於區塊之內預測模式在最可能的基於區塊之內預測模式之清單內的情況下形成最可能的基於區塊之內預測模式之此清單。
因此,舉例而言,該設備經組配以針對內預測模式之第一集合及內預測模式之第二集合形成不同MPM清單。最可能內預測模式之清單包含例如內預測模式之第一集合中之內預測模式且最可能的基於區塊之內預測模式之清單包含例如內預測模式之第二集合,亦即基於區塊之內預測模式之第二集合中之內預測模式。這使得基於區塊之內預測模式並不需要與內預測模式之第一集合中之內預測模式,例如DC內預測模式及角預測模式競爭總MPM清單中之位置成為可能。藉由此分離,用於預定區塊之內預測模式實際上較可能在個別MPM清單中。
實施例係關於一種用於使用內預測編碼圖像之預定區塊之設備,其經組配以傳信資料串流中指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者來預測預定區塊的集合選擇性語法元素。任擇地,除DC內預測模式之外或替代DC內預測模式,內預測模式之第一集合可包含平面內預測模式。若該集合選擇性語法元素指示使用內預測模式之第一集合中之一者預測預定區塊,則該設備經組配以基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,傳信資料串流中在最可能內預測模式之清單中指向預定內預測模式的MPM清單索引,以及使用該預定內預測模式對預定區塊進行內預測。換言之,在此情況下,該設備經組配以基於用於預測與該預定區塊相鄰之相鄰區塊之內預測模式形成最可能內預測模式之清單。若該集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者來預測預定區塊,則該設備經組配以藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量並基於該預測向量預測預定區塊之樣本而傳信資料串流中指示來自基於矩陣之內預測模式之第二集合(亦即包含基於矩陣之內預測模式,亦即基於區塊之內預測模式之內預測模式之第二集合)之預定的基於矩陣之內預測模式的另一索引。在此情況下,舉例而言,該預測類似於或等於相對於圖5至圖11之實施例所描述之ALWIP預測。基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。換言之,基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在專門藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。
實施例係關於一種用於使用內預測解碼圖像之預定區塊之方法,其包含自資料串流導出指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者來預測預定區塊的集合選擇性語法元素。若該集合選擇性語法元素指示使用內預測模式之第一集合中之一者預測預定區塊,則該方法包含基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,自資料串流導出在最可能內預測模式之清單中指向預定內預測模式的MPM清單索引,以及使用該預定內預測模式對預定區塊進行內預測。若該集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者預測預定區塊,則該方法包含藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量並基於該預測向量預測預定區塊之樣本而自資料串流導出指示來自基於矩陣之內預測模式之第二集合之預定的基於矩陣之內預測模式的另一索引。基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。換言之,基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在專門藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。
實施例係關於一種用於使用內預測編碼圖像之預定區塊之方法,其包含傳信資料串流中指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者來預測預定區塊的集合選擇性語法元素。若該集合選擇性語法元素指示使用內預測模式之第一集合中之一者預測預定區塊,則該方法包含基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,傳信資料串流中在最可能內預測模式之清單中指向預定內預測模式之MPM清單索引,以及使用該預定內預測模式對預定區塊進行內預測。若該集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者預測預定區塊,則該方法包含藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量並基於該預測向量預測預定區塊之樣本而傳信資料串流中指示來自基於矩陣之內預測模式之第二集合之預定的基於矩陣之內預測模式的另一索引。基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。換言之,基於在預測與預定區塊相鄰之相鄰區塊時使用之內預測模式形成最可能內預測模式之清單,使得在專門藉由角度內預測模式中之任一者預測相鄰區塊的情況下,最可能內預測模式之清單不含DC內預測模式。
實施例係關於一種資料串流,圖像使用本文所描述之用於編碼之方法編碼成該資料串流。
實施例係關於一種電腦程式,其具有在運行於電腦上時用於執行本文所描述之方法之程式碼。
較佳實施例之詳細說明
即使具有相同或等效功能性之相同或等效的一或多個元件出現於不同圖式中,以下描述中仍藉由相同或等效參考數字來表示該一或多個元件。
在以下描述中,闡述多個細節以提供對本發明之實施例的更透徹解釋。然而,熟習此項技術者將顯而易見,可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下,以方塊圖形式而非詳細地展示熟知結構及裝置以免混淆本發明之實施例。此外,除非另外特定地指出,否則可將下文中所描述之不同實施例的特徵彼此組合。1 引言
在下文中,將描述不同的本發明實例、實施例及態樣。此等實例、實施例及態樣中之至少一些尤其指代用於視訊寫碼及/或用於執行內預測(例如使用線性或仿射變換以及相鄰樣本縮減)及/或用於最佳化視訊傳遞(例如,廣播、流式傳輸、檔案回放等),例如用於視訊應用及/或用於虛擬實境應用的方法及/或設備。
此外,實例、實施例及態樣可指代高效率視訊寫碼(HEVC)或後繼者。並且,其他實施例、實例及態樣將由所附申請專利範圍界定。
應注意,如申請專利範圍所界定之任何實施例、實例及態樣可由以下章節中所描述之細節(特徵及功能性)中之任一者補充。
並且,以下章節中所描述之實施例、實例及態樣可個別地使用,且亦可由另一章節中之特徵中之任一者或由申請專利範圍中所包括之任一特徵補充。
並且,應注意,本文中所描述的個體、實例、實施例及態樣可個別地或組合地使用。因此,細節可添加至該等個別態樣中之每一者而無需將細節添加至該等實例、實施例及態樣中之另一者。
亦應注意,本揭露內容明確地或隱含地描述解碼及/或編碼系統及/或方法之特徵。
此外,本文中關於一種方法所揭示之特徵及功能性亦可用於設備中。此外,本文中關於設備所揭示之任何特徵及功能性亦可用於對應方法中。換言之,本文中所揭示之方法可藉由關於設備所描述的特徵及功能性中之任一者加以補充。
並且,本文中所描述之特徵及功能性中之任一者可用硬體或軟體來實施,或使用硬體與軟體之組合來實施,如將在章節「實施替代方案」中所描述。
此外,在一些實例、實施例或態樣中,括號(「(…)」或「[…]」)中所描述之特徵中之任一者可被視為任擇的。2 編碼器、解碼器
在下文中,描述各種實例,其可輔助在使用基於區塊之預測時實現更有效壓縮。一些實例藉由使用一組內預測模式來實現高壓縮效率。後述內預測模式可經添加至例如探索性設計之其他內預測模式,或可排他地提供。且甚至其他實例利用剛剛論述之二種特例。然而,作為此等實施例之振動,可藉由使用另一圖像中之參考樣本將內預測變為間預測。
為了易於理解本申請案之以下實例,本說明書開始呈現適合其的可能編碼器及解碼器,可在其中構建本申請案之隨後概述之實例。圖1展示用於將圖像10逐區塊編碼成資料串流12之設備。該設備使用參考符號14指示且可仍然為圖像編碼器或視訊編碼器。換言之,當編碼器14經組配以將包括圖像10之視訊16編碼成資料串流12或編碼器14可專門將圖像10編碼成資料串流12時,圖像10可為視訊16當中之當前圖像。
如所提及,編碼器14以逐區塊方式或基於區塊執行編碼。為此,編碼器14將圖像10細分成區塊,編碼器14以區塊為單位將圖像10編碼成資料串流12。在下文更詳細地闡述將圖像10可能細分成區塊18之實例。通常,細分可能諸如藉由使用分層多樹細分而最終變成具有恆定大小之區塊18,諸如以列及行配置之區塊之陣列,或可能最終變成具有不同區塊大小之區塊18,其中多樹細分起始於圖像10之整個圖像區域或開始於將圖像10預分割成樹型區塊之陣列,其中此等實例不應被視為排除將圖像10細分成區塊18之其他可能方式。
此外,編碼器14為經組配以將圖像10預測性地編碼成資料串流12之預測性編碼器。對於某一區塊18,此意謂編碼器14判定用於區塊18之預測信號且將預測殘差(亦即,預測信號偏離區塊18內之實際圖像內容的預測誤差)編碼成資料串流12。
編碼器14可支援不同預測模式,以便導出用於某一區塊18之預測信號。在以下實例中具有重要性之預測模式為內預測模式,根據該等內預測模式,自圖像10之相鄰的已編碼樣本在空間上預測區塊18之內部。將圖像10編碼成資料串流12且因此對應的解碼程序可基於在區塊18當中定義之某一寫碼次序20。舉例而言,寫碼次序20可以光柵掃描次序(諸如自上而下逐列)遍歷區塊18,其中例如自左至右遍歷每一列。在基於分層多樹之細分之情況下,光柵掃描排序可應用在每一層級層次內,其中可應用深度優先遍歷次序,亦即,某一層級層次之區塊內之葉節點可根據寫碼次序20在同一層級層次之具有相同父區塊之區塊之前。取決於寫碼次序20,區塊18之相鄰已編碼樣本通常可位於區塊18之一或多個側處。在本文中所呈現之實例的情況下,例如區塊18之相鄰的已編碼樣本位於區塊18之頂部及左側。
內預測模式可能並非編碼器14支援之僅有預測模式。在編碼器14為視訊編碼器之情況下,例如編碼器14亦可支援間預測模式,根據該等間預測模式,區塊18暫時根據視訊16之先前編碼之圖像來預測。此間預測模式可為運動補償預測模式,根據該運動補償預測模式,將移動向量傳信給此區塊18,從而指示區塊18之預測信號將自其導出作為複本之部分的相對空間偏移。另外或替代地,其他非內預測模式亦可為可用的,諸如在編碼器14為多視圖編碼器之情況下之間預測模式,或非預測性模式,根據該等非預測性模式,區塊18之內部按原樣(亦即無任何預測之情況下)經寫碼。
在開始將本申請案之描述集中於內預測模式之前,關於圖2描述可能的基於區塊之編碼器(亦即,編碼器14之可能實施)的更特定實例,接著分別呈現適合於圖1及圖2之解碼器的二個對應實例。
圖2展示圖1之編碼器14之可能實施,亦即其中編碼器經組配以使用變換寫碼以用於編碼預測殘差之實施,但此近似實例且本申請案並不限於彼類別之預測殘差寫碼。根據圖2,編碼器14包含減法器22,其經組配以自入站信號(亦即圖像10)或在區塊基礎上自當前區塊18減去對應的預測信號24以便獲得預測殘差信號26,該預測殘差信號接著由預測殘差編碼器28編碼成資料串流12。預測殘差編碼器28由有損編碼級28a及無損編碼級28b構成。該有損級28a接收預測殘差信號26且包含量化器30,該量化器量化預測殘差信號26之樣本。如上文已提及,本發明實例使用預測殘差信號26之變換寫碼,且因此有損編碼級28a包含連接於減法器22與量化器30之間的變換級32,以便變換此經頻譜分解之預測殘差26,其中對呈現殘差信號26之經變換係數進行量化器30之量化。該變換可為DCT、DST、FFT、哈達馬德(Hadamard)變換等。經變換且經量化預測殘差信號34接著藉由無損編碼級28b進行無損寫碼,該無損編碼級為將經量化預測殘差信號34熵寫碼成資料串流12之熵寫碼器。編碼器14進一步包含預測殘差信號重構級36,其連接至量化器30之輸出以便以亦可用在解碼器處之方式自經變換且經量化預測殘差信號34重構預測殘差信號,亦即考慮寫碼損失為量化器30。為此,預測殘差重構級36包含反量化器38,該反量化器執行量化器30之量化的反操作,接著包含反變換器40,該反變換器相對於由變換器32執行之變換而執行反變換,諸如頻譜分解之反操作,諸如上文所提及之特定變換實例中之任一者的反操作。編碼器14包含加法器42,其將由反變換器40輸出之經重構預測殘差信號與預測信號24相加以便輸出經重構信號,亦即經重構樣本。此輸出經饋送至編碼器14之預測器44中,該預測器接著基於該輸出來判定預測信號24。預測器44支援上文已經關於圖1所論述的所有預測模式。圖2亦說明在編碼器14為視訊編碼器之情況下,編碼器14亦可包含環路內濾波器46,其對經重構圖像進行完全濾波,該等經重構圖像在已經濾波之後關於經間預測區塊形成用於預測器44之參考圖像。
如上文已提及,編碼器14基於區塊操作。對於後續描述,所關注之區塊基礎為將圖像10細分成區塊之基礎,針對該等區塊而自分別由預測器44或編碼器14支援之一組或多個內預測模式當中選擇內預測模式,且個別地執行所選擇的內預測模式。然而,亦可存在將圖像10細分成其他類別的區塊。舉例而言,無論圖像10經間寫碼抑或經內寫碼,上文所提及之決策均可以粒度或以自區塊18偏離之區塊之單位來進行。舉例而言,間/內模式決策可以圖像10細分成之寫碼區塊之級別來執行,且每一寫碼區塊均被細分成預測區塊。具有已決定使用內預測之編碼區塊的預測區塊各自被細分為內預測模式決策。為此,對於此等預測區塊中之每一者,決定個別預測區塊應使用哪一經支援內預測模式。此等預測區塊將形成此處感興趣之區塊18。與間預測相關聯之寫碼區塊內的預測區塊將由預測器44以不同方式處理。該等預測區塊將藉由判定運動向量及自參考圖像中由運動向量所指向之位置複製用於此區塊之預測信號而自參考圖像進行間預測。另一區塊細分涉及細分成變換區塊,變換器32及反變換器40以變換區塊為單位執行變換。經變換區塊可例如為進一步細分寫碼區塊之結果。當然,本文中所闡述之實例不應被視為限制性的,且亦存在其他實例。僅出於完整性起見,應注意,細分成寫碼區塊可例如使用多樹細分,且預測區塊及/或變換區塊亦可藉由使用多樹細分進一步細分寫碼區塊而獲得。
圖3中描繪適合圖1之編碼器14之用於逐區塊解碼之解碼器54或設備。此解碼器54與編碼器14之行為相反,亦即其以逐區塊方式自資料串流12解碼圖像10且為此目的支援多個內預測模式。舉例而言,解碼器54可包含殘差提供器156。上文關於圖1所論述的所有其他可能性對於解碼器54亦有效。為此,解碼器54可為靜止圖像解碼器或視訊解碼器且所有預測模式及預測可能性亦由解碼器54支援。編碼器14與解碼器54之間的差異主要在於編碼器14根據某一最佳化選擇寫碼決策,例如以便最小化可取決於寫碼速率及/或寫碼失真之某一成本函數之事實。此等寫碼選項或寫碼參數中之一者可涉及可用或經支援內預測模式當中之待用於當前區塊18之一系列內預測模式。選定的內預測模式接著可在資料串流12內由編碼器14傳信給當前區塊18,其中解碼器54使用用於區塊18之資料串流12中之此傳信重新進行選擇。同樣地,圖像10細分成區塊18可在編碼器14內進行最佳化,且對應的細分資訊可在資料串流12內傳送,其中解碼器54基於細分資訊恢復將圖像10細分成區塊18。綜上所述,解碼器54可為在區塊基礎上進行操作之預測性解碼器,且除內預測模式之外,解碼器54亦可支援其他預測模式,諸如在例如解碼器54為視訊解碼器之情況下的間預測模式。在解碼時,解碼器54亦可使用關於圖1所論述的寫碼次序20,且由於編碼器14及解碼器54處均遵從此寫碼次序20,因此相同的相鄰樣本在編碼器14及解碼器54處均可用於當前區塊18。因此,為了避免不必要的重複,就圖像10細分成區塊而言,例如就預測而言及就預測殘差之寫碼而言,編碼器14之操作模式之描述亦應適用於解碼器54。差異在於以下事實:編碼器14藉由最佳化選擇一些寫碼選項或寫碼參數,且在資料串流12內傳信寫碼參數或將寫碼參數插入至資料串流12中,該等寫碼參數接著藉由解碼器54自資料串流12導出以便重新進行預測、細分等。
圖4展示圖3之解碼器54之可能實施,亦即適合圖1之編碼器14之實施的實施,如圖2中所展示。由於圖4之編碼器54的許多元件與圖2之對應編碼器中出現的彼等元件相同,因此在圖4中使用具備撇號之相同參考符號以便指示此等元件。詳言之,加法器42'、任擇的迴路內濾波器46'及預測器44'以與其在圖2之編碼器中相同的方式連接至預測迴路中。應用於加法器42'之經重構,亦即經反量化及經重變換預測殘差信號藉由以下各者之序列導出:熵解碼器56,其反向轉換熵編碼器28b之熵編碼;接著為殘差信號重構級36',其由反量化器38'及反變換器40'構成,正好與編碼側之情況相同。解碼器之輸出為圖像10之重構。圖像10之重構可直接在加法器42'之輸出處或替代地在迴路內濾波器46'之輸出處獲得。一些後置濾波器可配置在解碼器之輸出處以便使圖像10之重構進行一定後置濾波,以便改良圖像品質,但圖4中並未描繪此選項。
同樣,關於圖4,上面關於圖2提出之描述對於圖4亦應有效,除了僅編碼器執行最佳化任務及關於寫碼選項之相關聯決策之外。然而,關於區塊細分、預測、反量化及重變換的所有描述對於圖4之解碼器54亦有效。3 仿射線性經加權內預測器 ( ALWIP )
特此論述關於ALWIP之一些非限制性實例,即使ALWIP並非一直必須體現此處論述的技術。
本申請案尤其涉及用於逐區塊圖像寫碼之經改良的基於區塊之預測模式概念,該概念諸如可用在諸如HEVC或HEVC之任何後續者的視訊編解碼器中。預測模式可為內預測模式,但理論上本文中所描述的概念亦可傳送至間預測模式上,其中參考樣本為另一圖像之一部分。
尋求基於區塊之預測概念,其允許諸如對硬體友好實施之高效實施。
此目標係藉由本申請案之獨立申請專利範圍的主題來達成。
內預測模式廣泛地用於圖像及視訊寫碼中。在視訊寫碼中,內預測模式與其他預測模式競爭,諸如間預測模式,諸如運動補償預測模式。在內預測模式中,基於相鄰樣本預測當前區塊,該等相鄰樣本亦即就編碼器側而言已經編碼且就解碼器側而言已經解碼之樣本。相鄰樣本值經外推至當前區塊中以便形成用於當前區塊之預測信號,其中預測殘差在用於當前區塊之資料串流中傳輸。預測信號愈佳,則預測殘差愈低,且因此,寫碼預測殘差所必需之位元的數目愈少。
為了有效,應考慮若干態樣以便在逐區塊圖像寫碼環境中形成用於內預測之有效構架。舉例而言,由編解碼器支援之內預測模式之數目愈大,則將選擇傳信給解碼器之旁側資訊速率消耗愈大。另一方面,所支援之內預測模式的集合應能夠提供良好的預測信號,亦即,產生低預測殘差之預測信號。
在下文中,揭示-作為比較實施例或基礎實例-用於自資料串流逐區塊解碼圖像之設備(編碼器或解碼器),該設備支援至少一種內預測模式,根據該內預測模式,藉由將鄰近當前區塊之樣本的第一範本應用至仿射線性預測器上來判定用於圖像之預定大小之區塊的內預測信號,該仿射線性預測器在下文中應被稱作仿射線性經加權內預測器(ALWIP)。
該設備可具有以下屬性中之至少一者(其可適用於例如實施於非暫時性儲存單元中之方法或另一技術,該非暫時性儲存單元儲存在由處理器執行時使該處理器實施該方法及/或用作該設備之指令): 3.1 預測器可與其他預測器互補
可形成下文進一步描述之實施改良之主題的內預測模式可與編解碼器的其他內預測模式互補。因此,該等內預測模式可與在HEVC編解碼器中,相應地在JEM參考軟體中定義之DC預測模式、平面預測模式及角度預測模式互補。內預測模式之後三種類型今後應被稱作習知內預測模式。因此,對於內模式中之給定區塊,旗標需要由解碼器解析,從而指示是否將使用該設備支援之內預測模式中之一者。 3.2 多於一個所提議的預測模式
該設備可含有多於一個ALWIP模式。因此,在解碼器已知將使用該設備所支援之ALWIP模式中之一者之情況下,該解碼器需要解析額外資訊,該額外資訊指示將使用該設備所支援之ALWIP模式中之哪一ALWIP模式。
所支援模式之傳信可具有如下屬性:一些ALWIP模式之寫碼可能需要比其他ALWIP模式少之位元子。此等模式中之哪些模式需要較少位元子且哪些模式需要較多位元子可取決於可自已解碼之位元串流提取的資訊,或可預先固定。4 一些態樣
圖2展示用於自資料串流12解碼圖像之解碼器54。解碼器54可經組配以解碼圖像之預定區塊18。詳言之,預測器44可經組配以使用線性或仿射線性變換[例如,ALWIP]將與預定區塊18相鄰之P個相鄰樣本之集合映射至預定區塊之樣本的Q個預測值之集合上。
如圖5中所展示,預定區塊18包含待預測之Q個值(在操作結束時,其將為「預測值」)。若區塊18具有M列及N行,則Q=M▪N。區塊18之Q個值可在空間域(例如,像素)中或在變換域(例如,DCT,離散小波變換等)中。可基於自大體上鄰近於區塊18之相鄰區塊17a至17c獲取的P個值來預測區塊18之Q個值。相鄰區塊17a至17c之P個值可在最接近(例如,鄰近)區塊18之位置中。相鄰區塊17a至17c之P個值已被處理及預測。P個值指示為部分17'a至17'c中之值,以區分該等部分與其作為一部分(在一些實例中,不使用17'b)之區塊。
如圖6中所展示,為了執行預測,有可能與具有P個條目(每一條目係與相鄰部分17'a至17'c中之特定位置相關聯)之第一向量17P、具有Q個條目(每一條目係與區塊18中之特定位置相關聯)之第二向量18Q及映射矩陣17M (每一列係與區塊18中之特定位置相關聯,每一行係與相鄰部分17'a至17'c中之特定位置相關聯)一起操作。因此,映射矩陣17M根據預定模式執行將相鄰部分17'a至17'c之P個值預測成區塊18之值。映射矩陣17M中之條目可因此理解為加權因數。在以下段落中,將使用符號17a至17c代替17'a至17'c來指代邊界之相鄰部分。
在此項技術中,已知若干習知模式,諸如DC模式、平面模式及65個方向性預測模式。可能已知例如67種模式。
然而,已注意到,亦有可能利用不同模式,其在此處被稱作線性或仿射線性變換。線性或仿射線性變換包含P▪Q個加權因數,在該等加權因數當中,至少¼ P▪Q個加權因數係非零加權值,其針對Q個經預測值中之每一者,包含與個別經預測值有關之一系列P個加權因數。當在預定區塊之樣本當中根據光柵掃描次序而一個接一個地配置時,該系列形成全向非線性之包絡。
有可能映射相鄰值17'a至17'c (範本)之P個位置、相鄰樣本17'a至17'c之Q個位置,且在矩陣17M之P*Q個加權因數之值處進行映射。平面為用於DC變換之系列的包絡之實例(其為用於DC變換之平面)。包絡明顯為平面的,且因此被線性或仿射線性變換(ALWIP)之定義所排除。另一實例為產生角度模式之仿真的矩陣:包絡將自ALWIP定義排除,且坦言之,將看起來像沿著P/Q平面中之方向自上而下傾斜之山丘。平面模式及65種方向性預測模式將具有不同包絡,然而,其將在至少一個方向上為線性的,亦即例如用於經例示DC之所有方向及例如用於角度模式之山丘方向。
相反,線性或仿射變換之包絡將並非全向線性的。已理解,在一些情形中,此種變換對於執行區塊18之預測可為最佳的。已注意,較佳地,加權因數之至少¼不同於零(亦即,P*Q個加權因數中之至少25%不同於0)。
根據任何常規的映射規則,該等加權因數可能彼此不相關。因此,矩陣17M可使得其條目之值不具有明顯可辨識之關係。舉例而言,加權因數無法由任何分析或差分函數描述。
在實例中,ALWIP變換使得有關於個別經預測值之第一系列加權因數與有關於除個別經預測值以外之經預測值的第二系列加權因數或後一系列之反轉版本-無論何者導致較高最大值-之間的交叉相關之最大值之均值可低於預定臨限值(例如,0.2或0.3或0.35或0.1,例如,在0.05與0.035之間的範圍內之臨限值)。舉例而言,對於ALWIP矩陣17M之每一對列(i1 ,i2 ),可藉由將第i1 列之P個值乘以第i2 列之P個值來計算交叉相關。對於每一經獲得交叉相關,可獲得最大值。因此,可針對整個矩陣17M獲得均值(平均值)(亦即,平均化所有組合中之交叉相關的最大值)。此後,臨限值可為例如0.2或0.3或0.35或0.1,例如,在0.05與0.035之間的範圍內的臨限值。
區塊17a至17c之P個相鄰樣本可沿著一維路徑定位,該一維路徑沿著預定區塊18之邊界(例如,18c、18a)延伸。對於預定區塊18之Q個預測值中之每一者,可按在預定方向(例如,自左向右,自上而下等)上遍歷一維路徑之方式對與個別預測值有關之一系列P個加權因數進行排序。
在實例中,ALWIP矩陣17M可為非對角或非區塊對角的。
用於自4個已預測之相鄰樣本來預測4×4區塊18的ALWIP矩陣17M之實例可為: { {37, 59, 77, 28}, {32, 92, 85, 25}, {31, 69, 100, 24}, {33, 36, 106, 29}, {24, 49, 104, 48}, {24, 21, 94, 59}, {29, 0, 80, 72}, {35, 2, 66, 84}, {32, 13, 35, 99}, {39, 11, 34, 103}, {45, 21, 34, 106}, {51, 24, 40, 105}, {50, 28, 43, 101}, {56, 32, 49, 101}, {61, 31, 53, 102}, {61, 32, 54, 100} }。
(此處,{37, 59, 77, 28}為矩陣17M之第一列;{32, 92, 85, 25}為第二列;且{61, 32, 54, 100}為第16列。)矩陣17M具有尺寸16×4,且包括64個加權因數(由於16*4=64)。此係因為矩陣17M具有尺寸Q×P,其中Q=M*N,其為待預測之區塊18的樣本數目(區塊18為4×4區塊),且P為已預測樣本之樣本數目。此處,M=4,N=4,Q=16 (由於M*N=4*4=16),P=4。該矩陣為非對角及非區塊對角的,且不由特定規則描述。
如可看出,少於¼的加權因數係0 (在上文所展示之矩陣之情況下,六十四個當中之一個加權因數為零)。當根據光柵掃描次序一個接一個地配置時,由此等值形成之包絡形成全向非線性之包絡。
即使主要參考解碼器(例如,解碼器54)論述以上解釋,但該解釋可在編碼器(例如,編碼器14)處執行。
在一些實例中,對於各區塊大小(在區塊大小之集合中),用於個別區塊大小之內預測模式之第二集合內的內預測模式之ALWIP變換相互不同。另外或替代地,用於區塊大小之集合中之區塊大小的內預測模式之第二集合之基數可一致,但用於不同區塊大小之內預測模式之第二集合內的內預測模式之相關聯的線性或仿射線性變換不可藉由按比例調整來彼此轉換。
在一些實例中,可定義ALWIP變換,以此方式使得其與習知變換「無共用部分」(例如,ALWIP變換可能與對應習知變換「無」共用部分,即使該等變換已經由以上映射中之一者映射)。
在實例中,ALWIP模式用於亮度分量及色度分量二者,但在其他實例中,ALWIP模式用於亮度分量但不用於色度分量。 5 具有編碼器加速之仿射線性經加權內預測模式(例如,測試CE3-1.2.1) 5.1 方法或設備之描述
在CE3-1.2.1中測試之仿射線性經加權內預測(ALWIP)模式可與在測試CE3-2.2.2下在JVET-L0199中提議之模式相同,除了以下改變以外: •      與多個參考線(MRL)內預測(尤其編碼器估計及傳信)之協調,亦即MRL不與ALWIP組合且傳輸MRL索引被限於非ALWIP區塊。 •      現在必須對所有W×H≥32×32的區塊進行次取樣(以前對於32×32係任擇的);因此,已刪除了編碼器處之發送次取樣旗標之額外測試。 •      藉由分別對32×N及N×32減少取樣並應用對應的ALWIP模式,已添加了用於64×N及N×64區塊(其中N≤32)的ALWIP。
此外,測試CE3-1.2.1包括用於ALWIP之以下編碼器最佳化: •       經組合模式估計:習知及ALWIP模式使用用於完整RD估計之共用哈達馬德候選者清單,亦即ALWIP模式候選者基於哈達馬德成本添加至與習知(及MRL)模式候選者相同的清單。 •       針對經組合模式清單支援EMT內快速及PB內快速,其中額外最佳化用於縮減完整RD檢查之數目。 •       按照與習知模式相同的方法,僅將可用的左側及上方區塊的MPM添加至該清單,以進行ALWIP的完整RD估計。 5.2 複雜性評定
在測試CE3-1.2.1中,不包括調用離散餘弦變換的計算,每一樣本最多需要12次乘法才能產生預測信號。此外,總共需要136492個參數,每一參數16個位元。此對應於0.273百萬位元組的內存。 5.3 實驗結果
根據共同測試條件JVET-J1010 [3]對具有VTM軟體3.0.1版本的僅內(AI)及隨機存取(RA)組配執行測試評估。在具有Linux OS及GCC 7.2.1編譯器的Intel Xeon集群(E5-2697A v4,AVX2打開,英特爾睿頻加速技術(turbo boost)關閉)上進行了對應的模擬。 1 . 用於 VTM AI 組配之 CE3 - 1 . 2 . 1 的結果
Y U V 編碼時間 解碼時間
種類A1 -2,08% -1,68% -1,60% 155% 104%
種類A2 -1,18% -0,90% -0,84% 153% 103%
種類B -1,18% -0,84% -0,83% 155% 104%
種類C -0,94% -0,63% -0,76% 148% 106%
種類E -1,71% -1,28% -1,21% 154% 106%
總計 -1,36% -1,02% -1,01% 153% 105%
種類D -0,99% -0,61% -0,76% 145% 107%
種類F (任擇的) -1,38% -1,23% -1,04% 147% 104%
2 . 用於 VTM RA 組配之 CE3 - 1 . 2 . 1 的結果
Y U V 編碼時間 解碼時間
種類A1 -1,25% -1,80% -1,95% 113% 100%
種類A2 -0,68% -0,54% -0,21% 111% 100%
種類B -0,82% -0,72% -0,97% 113% 100%
種類C -0,70% -0,79% -0,82% 113% 99%
種類E          
總計 -0,85% -0,92% -0,98% 113% 100%
種類D -0,65% -1,06% -0,51% 113% 102%
種類F (任擇的) -1,07% -1,04% -0,96% 117% 99%
5.4 複雜性降低之仿射線性經加權內預測 ( 例如測試 CE3 - 1 . 2 . 2 )
CE2中所測試之技術係關於JVET-L0199 [1]中所描述之「仿射線性內預測」,但就內存要求及計算複雜度而言簡化了該技術: •     可僅存在三組不同的預測矩陣(例如S0 ,S1 ,S2 ,亦參見下文)及偏差向量(例如用於提供偏移值)覆蓋所有區塊形狀。因此,參數之數目縮減至14400個10位元值,此比在128×128 CTU中儲存的內存要少。 •     預測器之輸入及輸出大小經進一步縮減。此外,代替經由DCT變換邊界,可對邊界樣本執行平均化或減少取樣,並且預測信號之產生可使用線性內插代替逆DCT。因此,為了產生預測信號,每一樣本最多可需要四次乘法。6. 實例
此處論述如何運用ALWIP預測執行一些預測(例如,如圖6中所展示)。
原則上,參考圖6,為了獲得待預測的M×N區塊18之Q=M*N個值,應執行將Q×P ALWIP預測矩陣17M的Q*P個樣本乘以P×1相鄰向量17P之P個樣本。因此,一般而言,為了獲得待預測的M×N區塊18的Q=M*N個值中之每一者,至少需要P=M+N次值乘法。
此等乘法具有極其不合需要的效應。一般而言,邊界向量17P之尺寸P取決於與待預測之M×N區塊18相鄰(例如,鄰近)之邊界樣本(位元子或像素)17a、17c之數目M+N。此意謂,若待預測的區塊18之大小較大,則邊界像素(17a,17c)的數目M+N相應地較大,因此增大了P×1邊界向量17P的尺寸P=M+N,及Q×P ALWIP預測矩陣17M的每一列的長度,以及相應地,亦增加必需的乘法之數目(一般而言,Q=M*N=W*H,其中寬度(W)係N之另一符號且高度(H)係M之另一符號;在邊界向量僅由一列及/或一行樣本形成之情況下,P為P=M+N=H+W)。
一般而言,以下事實會加劇此問題:在基於微處理器之系統(或其他數位處理系統)中,乘法通常為消耗功率的運算。可想像,針對大量區塊的極大量樣本進行的大量乘法會導致計算功率之浪費,此通常為不合需要的。
因此,較佳地,縮減預測M×N區塊18所必需的乘法之數目Q*P。
已理解,有可能藉由智慧型地選擇替代乘法並且更易於處理之運算,來在某種程度上縮減待預測的每一區塊18之每一內預測所必需的計算功率。
詳言之,參考圖7.1至圖7.4,已理解,編碼器或解碼器可使用多個相鄰樣本(例如,17a、17c)藉由以下操作預測圖像之預定區塊(例如,18) 減少(例如,在步驟811處)(例如,藉由平均化或減少取樣)多個相鄰樣本(例如,17a、17c)以獲得在樣本數目上低於該多個相鄰樣本之經縮減樣本值集合, 對經縮減樣本值集合進行(例如在步驟812處)線性或仿射線性變換,以獲得預定區塊的預定樣本之經預測值。
在一些情況下,解碼器或編碼器亦可例如藉由內插基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本的預測值。因此,可獲得增加取樣策略。
在實例中,有可能對邊界17之樣本執行(例如,在步驟811處)一些平均化,以便獲得具有經縮減樣本數目之經縮減樣本集合102 (圖7.1至圖7.4) (經縮減樣本數目102之樣本中之至少一者可為原始邊界樣本或一系列原始邊界樣本中之二個樣本的平均值)。舉例而言,若原始邊界具有P=M+N個樣本,則經縮減樣本集合可具有Pred =Mred +Nred ,其中Mred <M及Nred <N中之至少一者,使得Pred <P。因此,將實際上用於預測(例如在步驟812b處)之邊界向量17P將不具有P×1個條目但具有Pred ×1個條目,其中Pred <P。類似地,針對預測所選擇的ALWIP預測矩陣17M將不具有Q×P尺寸,但具有Q×Pred (或Qred ×Pred ,參見下文),其具有矩陣之經縮減數目個元素,至少因為Pred <P (藉助於Mred <M及Nred <N中之至少一者)。
在一些實例(例如,圖7.2、圖7.3)中,甚至有可能進一步減少乘法之數目,若藉由ALWIP獲得之區塊(在步驟812處)為大小為
Figure 02_image001
之經縮減區塊,其中
Figure 02_image003
及/或
Figure 02_image005
(亦即,直接藉由ALWIP預測之樣本相較於實際上待預測之區塊18之樣本在數目上較少)。因此,設定
Figure 02_image007
,此將藉由使用Qred *Pred 乘法而非Q*Pred 乘法(其中Qred *Pred <Q*Pred <Q*P)獲得ALWIP預測。此乘法將預測經縮減區塊,其尺寸為
Figure 02_image001
。儘管如此,將有可能執行(例如,在後續步驟813處)自經縮減
Figure 02_image001
預測區塊至最終的M×N預測區塊的增加取樣(例如,藉由內插獲得)。
此等技術可為有利的,此係由於雖然矩陣乘法涉及經縮減的乘法數目(Qred *Pred 或Q*Pred ),但初始縮減(例如,平均化或減少取樣)及最終變換(例如內插)二者均可藉由縮減(或甚至避免)乘法來執行。舉例而言,減少取樣、平均化及/或內插可藉由採用計算上功率要求不高的二進位運算(諸如加法及移位)來執行(例如在步驟811及/或813處)。
並且,該加法係極容易的運算,其無需大量的計算工作即可容易地執行。
此移位運算可例如用於平均化二個邊界樣本及/或用於內插(或自邊界取得之)經縮減之經預測區塊的二個樣本(支援值),以獲得最終的經預測區塊。(對於內插,必須有二個樣本值。在該區塊內,一直具有二個預定值,但對於沿區塊的左邊界及上方邊界內插樣本,僅具有一個預定值,如圖7.2中,因此使用邊界樣本作為內插的支援值。)
可使用二步驟程序,諸如: 首先對二個樣本之值求和; 接著將總和的值減半(例如,藉由向右移位)。
替代地,有可能: 首先將樣本中之每一者減半(例如,藉由向左移位); 接著對二個經減半樣本的值求和。
當減少取樣(例如,在步驟811處)時,可執行甚至更容易的運算,因為僅需要在樣本之群組(例如,彼此鄰近之樣本)中選擇一個樣本。
因此,現在有可能界定用於縮減待執行之乘法的數目之技術。此等技術中之一些可尤其基於以下原理中之至少一者: 即使實際上待預測之區塊18具有大小M×N,區塊亦可經縮減(在二個維度中之至少一者上)且可應用具有縮減大小Qred xPred 之ALWIP矩陣(其中
Figure 02_image007
、Pred =Nred +Mred ,以及
Figure 02_image003
及/或
Figure 02_image005
及/或Mred <M及/或Nred <N)。因此,邊界向量17P將具有大小Pred ×1,僅意指Pred <P乘法(其中Pred = Mred + Nred 且P=M+N)。
Pred ×1邊界向量17P可自原始邊界17容易地獲得,例如: 藉由減少取樣(例如藉由僅選擇邊界之一些樣本);及/或 藉由平均化邊界之多個樣本(該邊界可藉由加法及移位而不使用乘法之情況下容易地獲得)。
另外或替代地,替代藉由乘法預測待預測之區塊18之所有Q=M*N值,有可能僅預測具有經縮減尺寸之經縮減區塊(例如,
Figure 02_image007
,其中
Figure 02_image003
及/或
Figure 02_image005
)。將藉由內插,例如使用Qred 樣本作為用於待預測之剩餘的Q-Qred 值之支援值來獲得待預測之區塊18的剩餘的樣本。
根據圖7.1中所說明之一實例,將預測4×4區塊18 (M=4,N=4,Q=M*N=16),且已經在先前反覆下預測樣本17a (具有四個已經預測之樣本的豎直列行)及17c (具有四個已經預測之樣本的水平列)之鄰域17 (鄰域17a及17c可共同由17指示)。先驗地,藉由使用圖6中所展示之等式,預測矩陣17M應為Q×P=16×8矩陣(藉助於Q=M*N=4*4且P=M+N=4+4=8),且邊界向量17P應具有8×1尺寸(藉助於P=8)。然而,此將驅使對於待預測的4×4區塊18之16個樣本中之每一者執行8次乘法的必要性,因此導致總共需要執行16*8=128次乘法之必要性。(應注意,每一樣本之乘法之平均數目為對計算複雜度之良好評定。對於習知內預測,每一樣本需要四次乘法,且此增加待涉及之計算工作。因此,可使用此作為ALWIP之上限,將確保複雜性係合理的並且不超過習知內預測之複雜性。)
儘管如此,已理解,藉由使用本發明技術,有可能在步驟811處將與待預測的區塊18相鄰的樣本17a及17c之數目自P縮減至Pred <P。詳言之,已理解,有可能平均化(例如在圖7.1中之100處)彼此鄰近之邊界樣本(17a,17c),以獲得具有二個水平列及二個豎直行之經縮減邊界102,因此將2×2區塊用作區塊18 (經縮減邊界係藉由經平均化值形成)。替代地,有可能執行減少取樣,因此選擇用於列17c之二個樣本及用於行17a之二個樣本。因此,替代具有四個原始樣本之水平列17c經處理為具有二個樣本(例如經平均化樣本),而最初具有四個樣本之豎直行17a經處理為具有二個樣本(例如經平均化樣本)。亦有可能理解,在細分每二個樣本的群組110中之列17c及行17a之後,維持單個樣本(例如,群組110之樣本的平均值或群組110之樣本當中的簡單選擇)。因此,藉助於僅具有四個樣本之集合102而獲得所謂的經縮減樣本值集合102 (Mred =2,Nred =2,Pred =Mred +Nred =4,其中Pred <P)。
已理解,有可能執行運算(諸如平均化或減少取樣100)而無需在處理器層級下實行太多的乘法:在步驟811執行之平均化或減少取樣100可簡單地藉由直接的且計算上非功率消耗運算(諸如加法及移位)來獲得。
已理解,此時,可對經縮減樣本值集合102進行線性或仿射線性(ALWIP)變換19 (例如,使用諸如圖6的矩陣17M之預測矩陣)。在此情況下,ALWIP變換19直接將四個樣本102映射至區塊18之樣本值104上。在當前情況下,不需要內插。
在此情況下,ALWIP矩陣17M具有尺寸Q×Pred =16×4:此遵循以下事實:待預測的區塊18之所有Q=16個樣本均藉由ALWIP乘法直接獲得(不需要內插)。
因此,在步驟812a處,選擇具有尺寸Q×Pred 之合適的ALWIP矩陣17M。該選擇可至少部分地基於例如自資料串流12之傳信。選定的ALWIP矩陣17M亦可運用Ak 來指示,其中k可理解為索引,其可在資料串流12中傳信(在一些情況下,該矩陣亦指示為
Figure 02_image009
,參見下文)。該選擇可根據以下方案執行:對於每一尺寸(例如,待預測之區塊18的高度/寬度對),在例如矩陣之三個集合S0 、S1 、S2 中之一者當中選擇ALWIP矩陣17M (三個集合S0 、S1 、S2 中之每一者可對具有相同尺寸之多個ALWIP矩陣17M進行分組,且待針對預測選擇的ALWIP矩陣將為其中之一者)。
在步驟812b處,執行選定的Q×Pred ALWIP矩陣17M (亦經指示為Ak )與Pred ×1邊界向量17P之間的乘法。
在步驟812c處,可將偏移值(例如,bk )與例如藉由ALWIP獲得之向量18Q的所有經獲得值104相加。偏移值(bk 或在一些情況下亦運用
Figure 02_image011
指示,參見下文)可與特定的選定ALWIP矩陣(Ak )相關聯,且可基於索引(例如,其可在資料串流12中傳信)。
因此,此處恢復使用本發明技術與不使用本發明技術之間的比較: 在不具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=4,N=4; 待預測之Q=M*N=4*4=16個值; P=M+N=4+4=8個邊界樣本 用於待預測之Q=16個值中之每一者的P=8次乘法 總數目P*Q=8*16=128次乘法; 在本發明技術之情況下,使得: 待預測之區塊18,該區塊具有尺寸M=4,N=4; 待在結束時預測之Q=M*N=4*4=16個值; 邊界向量之經縮減尺寸:Pred =Mred +Nred =2+2=4; 用於待藉由ALWIP預測之Q=16個值中之每一者的Pred =4次乘法, 總數目Pred *Q=4*16=64次乘法(128的一半!) 乘法之數目與待獲得之最終值的數目之間的比率為Pred *Q/Q=4,亦即用於每一待預測樣本之P=8次乘法的不到一半!
如可理解,藉由依賴於諸如平均化的直接且計算上功率要求不高的運算(且,在加法及/或移位及/或減少取樣之情況下),有可能在步驟812處獲得適當的值。
參考圖7.2,待預測之區塊18此處為64個樣本之8×8區塊(M=8,N=8)。此處,先驗地,預測矩陣17M應具有大小Q×P=64×16 (Q=64,藉助於Q=M*N=8*8=64,M=8且N=8並且藉助於P=M+N=8+8=16)。因此,先驗地,將需要用於待預測之8×8區塊18之Q=64個樣本中之每一者的P=16次乘法,以得到用於整個8×8區塊18之64*16=1024次乘法!
然而,如圖7.2中可見,可提供方法820,根據該方法,代替使用邊界之所有16個樣本,僅使用8個值(例如,邊界之原始樣本之間的水平邊界列17c中之4及豎直邊界行17a中之4)。自邊界列17c,可使用4個樣本而非8個樣本(例如,4個樣本可為二乘二之平均值及/或自二個樣本選擇一個樣本)。因此,邊界向量並非P×1=16×1向量,而僅為Pred ×1=8×1向量(Pred =Mred +Nred =4+4)。已理解,有可能選擇或平均化(例如,二乘二)水平列17c之樣本及豎直行17a之樣本以僅具有Pred =8個邊界值,而非原始的P=16個樣本,從而形成經縮減樣本值集合102。此經縮減集合102將准許獲得區塊18之經縮減版本,經縮減版本具有Qred =Mred *Nred =4*4=16個樣本(而非Q=M*N=8*8=64)。有可能應用ALWIP矩陣以用於預測具有大小Mred ×Nred =4×4之區塊。區塊18之經縮減版本包括在圖7.2之方案106中運用灰色指示之樣本:運用灰色正方形指示之樣本(包括樣本118'及118'')形成4×4經縮減區塊,其具有在進行步驟812獲得之Qred =16個值。藉由在進行步驟812時應用線性變換19而獲得4×4經縮減區塊。在獲得4×4經縮減區塊之值之後,有可能例如藉由內插獲得剩餘的樣本(在方案106中運用白色樣本指示之樣本)之值。
關於圖7.1之方法810,此方法820可另外包括例如藉由內插導出用於待預測之M×N=8×8區塊18的剩餘的Q-Qred =64-16=48個樣本(白色正方形)之預測值的步驟813。剩餘的Q-Qred =64-16=48個樣本可藉由內插自Qred =16個直接獲得之樣本獲得(該內插亦可利用例如邊界樣本之值)。如圖7.2中可見,雖然在步驟812處已經獲得樣本118'及118'' (如由灰色正方形指示),但樣本108' (在樣本118'與118''中間且運用白色正方形指示)在步驟813處藉由樣本118'與118''之間的內插獲得。已理解,內插亦可藉由類似於用於平均化的運算(諸如,移位及加法)來獲得。因此,在圖7.2中,通常可將值108'判定為樣本118'的值與樣本118''的值之間的中間值(其可為平均值)。
藉由執行內插,在步驟813處,亦有可能基於在104中指示之多個樣本值而得到M×N=8×8區塊18之最終版本。
因此,使用本發明技術與不使用本發明技術之間的比較係: 在不具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=8,N=8,及待預測之區塊18中之Q=M*N=8*8=64個樣本; 邊界17中之P=M+N=8+8=16個樣本; 用於待預測之Q=64個值中之每一者的P=16次乘法, 總數目P*Q=16*64=1028次乘法 乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=16 在具有本發明技術之情況下: 待預測之區塊18,其具有尺寸M=8,N=8 待在結束時預測之Q=M*N=8*8=64個值; 但將使用Qred ×Pred ALWIP矩陣,其中Pred =Mred +Nred ,Qred = Mred *Nred ,Mred =4,Nred =4 邊界中之Pred =Mred +Nred =4+4=8個樣本,其中Pred <P 用於待預測之4×4經縮減區塊(在方案106中由灰色正方形形成)之Qred =16個值中之每一者的Pred =8次乘法, 總數目Pred *Qred =8*16=128次乘法(比1024小得多!) 乘法之數目與待獲得之最終值之數目之間的比率係Pred *Qred /Q=128/64=2 (比在不具有本發明技術之情況下獲得之16小得多!)。
因此,特此呈現之技術對功率之需求比前一個技術小8倍。
圖7.3展示另一實例(其可基於方法820),其中待預測之區塊18為矩形4×8區塊(M=8,N=4),其具有待預測之Q=4*8=32個樣本。邊界17係藉由具有N=8個樣本之水平列17c及具有M=4個樣本之豎直行17a形成。因此,先驗地,邊界向量17P將具有尺寸P×1=12×1,而預測ALWIP矩陣應為Q×P=32×12矩陣,因此使得需要Q*P=32*12=384次乘法。
然而,有可能例如平均化或減少取樣水平列17c之至少8個樣本,以獲得僅具有4個樣本(例如,經平均化樣本)之經縮減水平列。在一些實例中,豎直行17a將保持原樣(例如不進行平均化)。總體上,經縮減邊界將具有尺寸Pred =8,其中Pred <P。因此,邊界向量17P將具有尺寸Pred ×1=8×1。ALWIP預測矩陣17M將為具有尺寸M*Nred *Pred =4*4*8=64之矩陣。直接在進行步驟812時獲得之4×4經縮減區塊(在方案107中藉由灰色行形成)將具有大小Qred =M*Nred =4*4=16個樣本(而非待預測之原始4×8區塊18的Q=4*8=32)。一旦藉由ALWIP獲得經縮減4×4區塊,則有可能在步驟813處添加偏移值bk (步驟812c)且執行內插。如可在圖7.3中之步驟813處看出,經縮減4×4區塊擴增至4×8區塊18,其中未在步驟812處獲得之值108'藉由內插在步驟812處獲得之值118'及118'' (灰色正方形)而在步驟813處獲得。
因此,使用本發明技術與不使用本發明技術之間的比較係: 在不具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=4,N=8 待預測之Q=M*N=4*8=32個值; 邊界中之P=M+N=4+8=12個樣本; 用於待預測之Q=32個值中之每一者的P=12次乘法, 總數目P*Q=12*32=384次乘法 乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=12 在具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=4,N=8 待在結束時預測之Q=M*N=4*8=32個值; 但可使用Qred ×Pred =16×8 ALWIP矩陣,其中M=4,Nred =4,Qred =M*Nred =16,Pred =M+Nred =4+4=8 邊界中之Pred =M+Nred =4+4=8個樣本,其中Pred <P 用於待預測之經縮減區塊之Qred =16個值中之每一者的Pred =8次乘法, 總數目Qred *Pred =16*8=128次乘法(少於384!) 乘法之數目與待獲得之最終值之數目之間的比率係Pred *Qred /Q=128/32=4 (比在不具有本發明技術之情況下獲得之12小得多!)。
因此,在具有本發明技術之情況下,計算工作縮減至三分之一。
圖7.4展示待預測之具有尺寸M×N=16×16且待在結束時預測之具有Q=M*N=16*16=256個值的區塊18之情況,該區塊具有P=M+N=16+16=32個邊界樣本。此將產生具有尺寸Q×P=256×32之預測矩陣,其將暗示256*32=8192次乘法!
然而,藉由應用方法820,有可能在步驟811處(例如藉由平均化或減少取樣)將邊界樣本之數目例如自32縮減至8:例如,對於列17a之四個連續樣本的每一群組120,仍存在單個樣本(例如,選自四個樣本,或樣本的平均值)。亦對於行17c之四個連續樣本的每一群組,仍存在單個樣本(例如,選自四個樣本,或樣本之平均值)。
此處,ALWIP矩陣17M為Qred ×Pred =64×8矩陣:此係由於選擇了Pred =8 (藉由使用來自邊界之32個樣本之8個經平均化或選定的樣本)之事實及待在步驟812處預測之經縮減區塊為8×8區塊(在方案109中,灰色正方形係64)之事實。
因此,一旦在步驟812處獲得經縮減8×8區塊之64個樣本,則有可能在步驟813處導出待預測之區塊18的剩餘的Q-Qred =256-64=192個值104。
在此情況下,為了執行內插,已經選擇使用邊界行17a之所有樣本且僅替代邊界列17c中之樣本。可進行其他選擇。
在具有本發明方法時,乘法之數目與最終獲得值之數目之間的比率係Qred *Pred /Q=8*64/256=2,其比在不具有本發明技術之情況下用於每一值之32次乘法小得多!
使用本發明技術與不使用本發明技術之間的比較係: 在不具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=16,N=16 待預測之Q=M*N=16*16=256個值; 邊界中之P=M+N=16*16=32個樣本; 用於待預測之Q=256個值中之每一者的P=32次乘法, 總數目P*Q=32*256=8192次乘法; 乘法之數目與待獲得之最終值之數目之間的比率係P*Q/Q=32 在具有本發明技術之情況下: 待預測之區塊18,該區塊具有尺寸M=16,N=16 待在結束時預測之Q=M*N=16*16=256個值; 但將使用Qred ×Pred =64×8 ALWIP矩陣,其中Mred =4,Nred =4,待藉由ALWIP預測之Qred =8*8=64個樣本,Pred =Mred +Nred =4+4=8 邊界中之Pred =Mred +Nred =4+4=8個樣本,其中Pred <P 用於待預測之經縮減區塊之Qred =64個值中之每一者的Pred =8次乘法, 總數目Qred *Pred =64*4=256次乘法(少於8192!)
乘法之數目與待獲得之最終值之數目之間的比率係Pred *Qred /Q=8*64/256=2 (比在不具有本發明技術之情況下獲得之32小得多!)。
因此,本發明技術所需之計算功率比傳統技術小16倍!
因此,有可能藉由以下操作使用多個相鄰樣本(17)預測圖像之預定區塊(18) 減少(100,813)多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102), 使經縮減樣本值集合(102)進行(812)線性或仿射線性變換(19,17M)以獲得用於預定區塊(18)之預定樣本(104,118',188'')之經預測值。
詳言之,有可能藉由減少取樣多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102)而執行減少(100,813)。
替代地,有可能藉由平均化多個相鄰樣本以獲得在樣本數目上少於多個相鄰樣本(17)之經縮減樣本值集合(102)而執行減少(100,813)。
另外,有可能藉由內插基於預定樣本(104,118',118'')及多個相鄰樣本(17)之經預測值導出(813)預定區塊(18)之另一樣本(108,108')之預測值。
多個相鄰樣本(17a,17c)可沿著預定區塊(18)之二側(例如,在圖7.1至圖7.4中朝右及朝下)一維延伸。預定樣本(例如藉由ALWIP在步驟812中獲得之樣本)亦可以列及行配置,且沿著列及行中之至少一者,預定樣本可定位於自預定樣本112之毗鄰預定區塊18的二側之樣本(112)開始的每一第n位置處。
基於多個相鄰樣本(17),有可能針對列及行中之至少一者中之每一者判定多個相鄰位置中之一個位置(118)之支援值(118),其對準至列及行中之至少一者中之一個別者。亦有可能藉由內插基於預定樣本(104,118',118'')之經預測值及對準至列及行中之至少一者的相鄰樣本(118)之支援值導出預定區塊(18)之其他樣本(108,108')之預測值118。
預定樣本(104)可沿著列定位於自毗連預定區塊18之二側的樣本(112)開始的每一第n位置處,且預定樣本沿著行定位於自(112)毗連預定區塊(18)之二側的預定樣本的樣本(112)開始之每一第m位置處,其中n、m>1。在一些情況下,n=m (例如,在圖7.2及圖7.3中,其中直接藉由ALWIP在812處獲得且運用灰色正方形指示之樣本104、118'、118''沿著列及行交替至隨後在步驟813處獲得之樣本108、108')。
沿著列(17c)及行(17a)中之至少一者,有可能例如藉由針對每一支援值減少取樣或平均化(122)包括相鄰樣本(118)之多個相鄰樣本內之相鄰樣本群組(120)而執行判定支援值,針對該等樣本判定個別支援值。因此,在圖7.4中,在步驟813處,有可能藉由使用預定樣本118'''(先前在步驟812處所獲得)及相鄰樣本118之值作為支援值而獲得樣本119之值。
多個相鄰樣本可沿著預定區塊(18)之二側一維延伸。有可能藉由將多個相鄰樣本(17)分組成一或多個連續相鄰樣本之群組(110)且對具有二個或多於二個相鄰樣本之一或多個相鄰樣本之群組(110)中之每一者執行減少取樣或平均化而執行減少(811)。
在實例中,線性或仿射線性變換可包含Pred *Qred 或Pred *Q加權因數,其中Pred 係經縮減樣本值集合內之樣本值(102)的數目,且Qred 或Q為預定區塊(18)內之預定樣本的數目。至少¼ Pred *Qred 或¼ Pred *Q加權因數為非零加權值。Pred *Qred 或Pred *Q加權因數可針對Q或Qred 預定樣本中之每一者包含關於個別預定樣本之一系列Pred 加權因數,其中該系列在根據光柵掃描次序在預定區塊(18)之預定樣本當中一個配置在另一個下方時形成全向非線性之包絡。Pred *Q或Pred *Qred 加權因數可經由任何常規映射規則而彼此不相關。關於個別預定樣本之第一系列的加權因數與關於除個別預定樣本之外的預定樣本之第二系列的加權因數或後一系列的反向版本之間的交叉相關之最大值(無論任何均產生較高最大值)的均值低於預定臨限值。預定臨限值可為0.3[或在一些情況下為0.2或0.1]。Pred 相鄰樣本(17)可沿著一維路徑(其沿著預定區塊(18)之二側延伸)定位,且對於Q或Qred 預定樣本中之每一者,關於個別預定樣本之該系列之Pred 加權因數以在預定方向上遍歷一維路徑之方式排序。6.1 方法及設備之描述
為了預測具有寬度W (亦由N指示)及高度H (亦由M指示)之矩形區塊之樣本,仿射線性加權內預測(ALWIP)可將區塊左側之一行H個重構之相鄰邊界樣本及區塊上方之一行W 個重構之相鄰邊界樣本用作輸入。若經重構樣本不可用,則可如在習知內預測中進行來產生該等經重構樣本。
產生預測信號(例如,用於完整的區塊18之值)可基於以下三個步驟中之至少一些: 1. 在邊界樣本17中,樣本102 (例如,在W=H=4之情況下的四個樣本及/或在其他情況下的八個樣本)可藉由平均化或減少取樣(例如,步驟811)而提取。 2. 可運用作為輸入之經平均化樣本(或自減少取樣剩餘的樣本)來實行矩陣向量乘法,之後為偏移之相加。結果可為關於原始區塊中之經次取樣樣本集的經縮減預測信號(例如,步驟812)。 3. 可例如藉由增加取樣自關於經次取樣集合之預測信號,例如藉由線性內插產生剩餘位置處之預測信號(例如,步驟813)。
由於步驟1. (811)及/或3. (813),在計算矩陣向量乘積時所需之乘法之總數目可使得該數目始終小於或等於
Figure 02_image013
。此外,僅藉由使用加法及位元移位來實行對邊界之平均化運算及經縮減預測信號之線性內插。換言之,在實例中,對於ALWIP模式,每一樣本至多需要四次乘法。
在一些實例中,產生預測信號所需的矩陣(例如,17M)及偏移向量(例如,bk )可取自可例如儲存於解碼器及編碼器之儲存單元中的矩陣之集合(例如,三個集合),例如S0 S1 S2
在一些實例中,集合S0 可包含n0 (例如,n0 =16或n0 =18或另一數目)矩陣
Figure 02_image015
{0,…,n0 -1}(例如,由其組成),該等矩陣中之每一者可具有16列及4行以及各自具有大小16之18個偏移向量
Figure 02_image017
{0,…, n0 -1},以根據圖7.1執行該技術。此集合之矩陣及偏移向量係用於具有大小4×4之區塊18。一旦邊界向量已經縮減至Pred =4向量(對於圖7.1之步驟811),則有可能將經縮減樣本集合102之Pred =4樣本直接映射至待預測之4×4區塊18的Q=16樣本中。
在一些實例中,集合S1 可包含n1 (例如,n1 =8或n1 =18或另一數目)矩陣
Figure 02_image019
{0,…,n1 -1} (例如,由其組成),該等矩陣中之每一者可具有16列及8行以及各自具有大小16之18個偏移向量
Figure 02_image021
{0,…,n1 -1},以根據圖7.2或圖7.3執行該技術。此集合S1 之矩陣及偏移向量可用於具有大小4×8、4×16、4×32、4×64、16×4、32×4、64×4、8×4及8×8之區塊。另外,其亦可用於具有大小
Figure 02_image023
之區塊(其中
Figure 02_image025
),亦即用於具有大小4×16或16×4、4×32或32×4及4×64或64×4之區塊。16×8矩陣係指區塊18 (其為4×4區塊)之經縮減版本,如在圖7.2及圖7.3中所獲得。
另外或替代地,集合S2 可包含n2 (例如,n2 =6或n2 =18或另一數目)矩陣
Figure 02_image027
{0,…,n2 -1}(例如,由其組成),該等矩陣中之每一者可具有64列及8行以及具有大小64之18個偏移向量
Figure 02_image029
{0,…,n2 -1}。64×8矩陣係指區塊18 (其為8×8區塊)之經縮減版本,例如如在圖7.4中獲得。此集合之矩陣及偏移向量可用於具有大小
Figure 02_image031
之區塊。
彼集合之矩陣及偏移向量或此等矩陣及偏移向量之部分可用於所有其他區塊形狀。 6.2 邊界之平均化或減少取樣
此處,提供關於步驟811之特徵。
如上文所解釋,邊界樣本(17a,17c)可經平均化及/或減少取樣(例如,自P個樣本至Pred <P個樣本)。
在第一步驟中,輸入邊界
Figure 02_image033
(例如17c)及
Figure 02_image035
(例如17a)可縮減成較小邊界
Figure 02_image037
Figure 02_image039
以獲得經縮減集合102。此處,
Figure 02_image037
Figure 02_image039
二者在4×4區塊情況下由2個樣本組成且在其他情況下由4個樣本組成。
在4×4區塊之情況下,有可能界定
Figure 02_image041
,
Figure 02_image043
並類似地界定
Figure 02_image039
。因此,
Figure 02_image045
Figure 02_image047
Figure 02_image049
Figure 02_image039
[1]為例如使用位元移位運算獲得之平均值。
在所有其他情況下(例如,對於具有不同於4之寬度或高度之區塊),若區塊寬度W經給定為W
Figure 02_image051
,則對於
Figure 02_image053
,界定
Figure 02_image055
. 並類似地界定
Figure 02_image039
在另外其他情況下,有可能減少取樣邊界(例如,藉由自邊界樣本之群組選擇一個特定邊界樣本)以獲得經縮減樣本數目。舉例而言,
Figure 02_image045
可選自
Figure 02_image057
Figure 02_image059
Figure 02_image047
可選自
Figure 02_image061
Figure 02_image063
。亦有可能類似地界定
Figure 02_image039
二個經縮減邊界
Figure 02_image037
Figure 02_image039
可級聯至經縮減邊界向量
Figure 02_image065
(與經縮減集合102相關聯),亦用17P指示。經縮減邊界向量
Figure 02_image065
因此可具有用於形狀
Figure 02_image067
之區塊的大小四(Pred =4) (圖7.1之實例)及具有用於所有其他形狀之區塊的大小八(Pred =8) (圖7.2至圖7.4之實例)。
在此,若
Figure 02_image069
(或矩陣集合中之矩陣之數目),則有可能界定
Figure 02_image071
Figure 02_image073
,其對應於
Figure 02_image075
之經轉置眾數,則有可能界定
Figure 02_image077
因此,根據特定狀態(
Figure 02_image079
),有可能沿著不同掃描次序(例如,一種掃描次序:
Figure 02_image081
)分配輸出向量之經預測值。
可實行其他策略。在其他實例中,眾數索引「mode」不必在0至35之範圍內(可界定其他範圍)。此外,不必三個集合S0 、S1 、S2 中之每一者具有18個矩陣(因此,代替如
Figure 02_image073
之表達式,
Figure 02_image083
0
Figure 02_image085
1
Figure 02_image085
2 係可能的,該等眾數分別為每一矩陣集合S0 、S1 、S2 之矩陣的數目)。此外,該等集合可各自具有不同數目個矩陣(例如,S0 可具有16個矩陣、S1 可具有八個矩陣,且S2 可具有六個矩陣)。
眾數及經轉置資訊未必作為一個經組合眾數索引「mode」來儲存及/或傳輸:在一些實例中,有可能作為經轉置旗標及矩陣索引(用於S0 之0-15、用於S1 之0-7及用於S2 之0-5)明確地傳信。
在一些情況下,經轉置旗標及矩陣索引之組合可經解譯為索引集合。舉例而言,可存在作為經轉置旗標操作之一個位元及指示矩陣索引之一些位元,該等位元共同經指示為「集合索引」。 6.3 藉由矩陣向量乘法產生經縮減預測信號
此處,提供關於步驟812之特徵。
自經縮減輸入向量
Figure 02_image065
(邊界向量17P),可產生經縮減預測信號
Figure 02_image087
。後一信號可為具有寬度
Figure 02_image089
及高度
Figure 02_image091
之經減少取樣區塊上之信號。此處,
Figure 02_image089
Figure 02_image091
可界定為:
Figure 02_image093
;若
Figure 02_image095
Figure 02_image097
可藉由計算矩陣向量乘積並加上偏移來計算經縮減預測信號
Figure 02_image087
Figure 02_image099
此處,
Figure 02_image101
為矩陣(例如,預測矩陣17M),其可具有
Figure 02_image103
個列及在W=H=4時具有4個行且在所有其他情況下具有8個行,且
Figure 02_image105
為可具有大小
Figure 02_image103
之向量。
Figure 02_image107
,則A可具有4行及16列且因此在這種情況下可需要每一樣本4次乘法以計算
Figure 02_image087
。在所有其他情況下,A可具有8行且可驗證在此等情況下,使得
Figure 02_image109
,亦即亦在此等情況下,每一樣本至多需要4次乘法來計算
Figure 02_image087
矩陣A及向量
Figure 02_image105
可自如下集合S0 、S1 、S2 中之一者取得。藉由設定
Figure 02_image111
界定索引
Figure 02_image113
,若
Figure 02_image115
;界定索引
Figure 02_image117
,若
Figure 02_image119
;並在所有其他情況下界定索引
Figure 02_image121
。此外,可使得
Figure 02_image123
,若
Figure 02_image069
,否則
Figure 02_image125
。接著,若
Figure 02_image127
Figure 02_image129
Figure 02_image131
,可使得
Figure 02_image133
Figure 02_image135
。在
Figure 02_image137
=2且
Figure 02_image139
之情況下,使
Figure 02_image101
為藉由遺漏
Figure 02_image009
之每一列而產生在矩陣,其在W=4之情況下對應於經減少取樣區塊中之奇數x座標,或在H=4之情況下對應於經減少取樣區塊中之奇數y座標。若
Figure 02_image073
,則藉由其經轉置信號替代經縮減預測信號。在替代性實例中,可實行不同策略。舉例而言,代替縮減較大矩陣之大小(「遺漏」),使用較小矩陣S1 (idx=1),其中Wred =4且Hred =4。亦即,現在將此類區塊指派給S1 而非S2
可實行其他策略。在其他實例中,眾數索引「mode」不必在0至35之範圍內(可界定其他範圍)。此外,不必三個集合S0 、S1 、S2 中之每一者具有18個矩陣(因此,代替如
Figure 02_image069
之表達式,
Figure 02_image141
0
Figure 02_image143
1
Figure 02_image143
2 係可能的,該等眾數分別為每一矩陣集合S0 、S1 、S2 之矩陣的數目)。此外,該等集合可各自具有不同數目個矩陣(例如,S0 可具有16個矩陣、S1 可具有八個矩陣,且S2 可具有六個矩陣)。 6.4 用以產生最終預測信號之線性內插
此處,提供關於步驟812之特徵。
關於較大區塊之經次取樣預測信號之內插,可能需要經平均化邊界之第二版本。亦即,若
Figure 02_image145
Figure 02_image147
,則得出W
Figure 02_image149
,且對於
Figure 02_image151
,界定
Figure 02_image153
Figure 02_image145
Figure 02_image155
,則類似地界定
Figure 02_image157
另外或替代地,有可能「難以減少取樣」,其中
Figure 02_image159
等於
Figure 02_image161
並且,可類似地界定
Figure 02_image157
在產生
Figure 02_image087
時遺漏之樣本位置處,最終預測信號可藉由線性內插自
Figure 02_image087
產生(例如,圖7.2至圖7.4之實例中之步驟813)。在一些實例中,若
Figure 02_image107
,則此線性內插可為不必要的(例如,圖7.1之實例)。
線性內插可給定如下(儘管如此,其他實例係可能的)。假定
Figure 02_image147
。接著,若
Figure 02_image163
,則可執行
Figure 02_image087
之豎直增加取樣。在這種情況下,
Figure 02_image087
可如下擴展一行至頂部。若
Figure 02_image165
,則
Figure 02_image087
可具有寬度
Figure 02_image167
且可藉由經平均化邊界信號
Figure 02_image037
擴展至頂部,例如如上文所界定。若
Figure 02_image169
,則
Figure 02_image087
具有寬度
Figure 02_image171
且藉由經平均化邊界信號
Figure 02_image173
擴展至頂部,例如如上文所界定。對於
Figure 02_image087
之第一行,可得出
Figure 02_image175
。接著,具有寬度
Figure 02_image089
及高度
Figure 02_image177
之區塊上之信號
Figure 02_image179
可給定為
Figure 02_image179
[x][2*y+1] =
Figure 02_image087
[x][y],
Figure 02_image179
[x][2*y] =
Figure 02_image181
[x][y-1] +
Figure 02_image183
[x][y] + 1)>>1, 其中
Figure 02_image185
Figure 02_image187
。後一過程可實行k次,直至2k
Figure 02_image189
Hred =H為止。因此,若H
Figure 02_image191
或H
Figure 02_image193
,則該過程至多可實行一次。若H
Figure 02_image195
,則該過程可實行二次。若H
Figure 02_image197
,則該過程可實行三次。接下來,水平增加取樣運算可應用於豎直增加取樣之結果。後一增加取樣運算可使用預測信號左邊之完整邊界。最終,若
Figure 02_image155
,則可藉由首先在水平方向上(必要時)且接著在豎直方向上增加取樣而類似地繼續進行。
此係使用用於第一內插(水平地或豎直地)之經縮減邊界樣本及用於第二內插(豎直地或水平地)之原始邊界樣本進行內插之實例。取決於區塊大小,僅需要第二內插或不需要內插。若需要水平及豎直內插,則次序取決於區塊之寬度及高度。
然而,可實施不同技術:例如,原始邊界樣本可用於第一及第二內插,且次序可為固定的,例如首先水平接著豎直(在其他情況下,首先豎直接著水平)。
因此,經縮減/原始邊界樣本之內插次序(水平/豎直)及使用可變化。 6.5 整個 ALWIP 過程之實例的說明
針對圖7.1至圖7.4中之不同形狀說明平均化、矩陣向量乘法及線性內插之整個過程。應注意,剩餘的形狀被視為所描繪情況中之一者。
1. 給定
Figure 02_image067
區塊,ALWIP可藉由使用圖7.1的技術而採用沿著邊界之每一軸線的二個平均值。所得四個輸入樣本進入矩陣向量乘法。矩陣係取自集合S0 。在加上偏移之後,此可以產生16個最終預測樣本。對於產生預測信號,並不需要線性內插。因此,每一樣本執行總共(
Figure 02_image199
次乘法。參見例如圖7.1。
2. 給定
Figure 02_image201
區塊,ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合S1 。此會在預測區塊之奇數位置上產生16個樣本。因此,每一樣本執行總共(
Figure 02_image203
次乘法。在加上偏移之後,可例如藉由使用頂部邊界豎直地及例如藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.2。
3. 給定
Figure 02_image205
區塊,ALWIP可藉由使用圖7.3的技術而採用沿著邊界之水平軸線的四個平均值及在左邊邊界上之四個原始邊界值。所得八個輸入樣本進入矩陣向量乘法。矩陣係取自集合S1 。此會在預測區塊之奇數水平位置及每一豎直位置上產生16個樣本。因此,每一樣本執行總共(
Figure 02_image207
次乘法。在加上偏移之後,例如藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.3。
相應地處理經轉置情況。
4. 給定
Figure 02_image209
區塊,ALWIP可採用沿著邊界之每一軸線的四個平均值。所得八個輸入樣本藉由使用圖7.2的技術進入矩陣向量乘法。矩陣係取自集合S2 。此會在預測區塊之奇數位置上產生64個樣本。因此,每一樣本執行總共(
Figure 02_image211
次乘法。在加上偏移之後,例如,藉由使用頂部邊界豎直地及藉由使用左邊邊界水平地內插此等樣本。參見例如圖7.2。參見例如圖7.4。
對於較大形狀,該程序可基本上相同,且容易檢查每一樣本之乘法之數目小於二。
對於W×8區塊,僅水平內插係必需的,因為在奇數水平位置及每一豎直位置處給定樣本。因此,在此等情況下每一樣本至多執行(
Figure 02_image213
次乘法。
最終,對於W×4區塊(其中W>8),使
Figure 02_image215
為藉由遺漏對應於沿著經減少取樣區塊之水平軸線的奇數條目之每一列而出現的矩陣。因此,該輸出大小可為32並且同樣,僅水平內插仍待執行。每一樣本至多可執行(
Figure 02_image217
次乘法。
可相應地處理經轉置情況。 6.6 所需參數之數目及複雜性評定
針對所有可能的經提議內預測模式所需之參數可由屬集合S0 S1 S2 之矩陣及偏移向量包含。所有矩陣係數及偏移向量可儲存為10位元值。因此,根據以上描述,經提議方法可需要總數目14400個參數,每一參數之精確度為10位元。此對應於0,018百萬位元組的內存。指出,當前,標準4:2:0色度次取樣中之具有大小
Figure 02_image219
之CTU由24576個值組成,每一值為10位元。因此,經提議內預測工具之內存要求不超過在上一次會議上採用之當前圖像參考工具之內存要求。並且,指出,由於PDPC工具或具有分數角度位置之角預測模式的4抽頭內插濾波器,習知內預測模式需要每一樣本四次乘法。因此,就可操作複雜性而言,經提議方法不超過習知內預測模式。 6.7 經提議內預測模式之傳信
對於明度區塊,例如提議35個ALWIP模式(可使用其他數目個模式)。對於內模式中之每一寫碼單元(CU),在位元串流中發送指示是否在對應的預測單元(PU)上應用ALWIP模式的旗標。後一索引之傳信可以與第一CE測試相同之方式與MRL調和。若應用ALWIP模式,則ALWIP模式之索引
Figure 02_image221
可使用具有3個MPM之MPM清單來傳信。
此處,可如下使用上方及左邊PU之內模式來執行MPM之導出。可存在例如三個固定表格
Figure 02_image223
Figure 02_image225
等表格,其可將ALWIP模式指派給每一習知內預測模式
Figure 02_image227
Figure 02_image229
對於具有寬度
Figure 02_image231
及高度
Figure 02_image233
之每一PU,界定並且索引
Figure 02_image235
其指示自三個集合中之哪一者獲取ALWIP參數,如以上章節4中所述。若上述預測單元
Figure 02_image237
可用、與當前PU属於同一CTU且在內模式下,若
Figure 02_image239
,且若在ALWIP模式
Figure 02_image241
下將ALWIP應用於
Figure 02_image237
,則使得
Figure 02_image243
若上述PU可用、與當前PU属於同一CTU且在內模式下,且若將習知內預測模式
Figure 02_image245
應用於上述PU,則使得
Figure 02_image247
在所有其他情況下,使得
Figure 02_image249
此意謂此模式不可用。以相同方式但在不限制左邊PU需要與當前PU属於同一CTU的情況下,導出模式
Figure 02_image251
最後,提供三個固定預設清單
Figure 02_image253
Figure 02_image225
,其各含有三種不同ALWIP模式。在預設清單
Figure 02_image255
及模式
Figure 02_image257
Figure 02_image259
當中,藉由以預設值取代-1以及排除重複來建構三個不同MPM。
本文中所描述之實施例不受經提議內預測模式之上文所描述的傳信限制。根據替代性實施例,MPM及/或映射表不用於MIP (ALWIP)。 6.8 用於習知明度及色度內預測模式之經調適 MPM 清單導出
經提議ALWIP模式可如下與習知內預測模式之基於MPM之寫碼調和。用於習知內預測模式之明度及色度MPM清單導出過程可使用固定表格
Figure 02_image261
Figure 02_image225
,將給定PU上之ALWIP模式
Figure 02_image263
映射至習知內預測模式中之一者
Figure 02_image265
對於明度MPM清單導出,每當遇到使用ALWIP模式
Figure 02_image263
之相鄰明度區塊時,此區塊可被處理為仿佛正使用習知內預測模式
Figure 02_image227
。對於色度MPM清單導出,每當當前明度區塊使用LWIP模式時,相同映射可用於將ALWIP模式轉變為習知內預測模式。
清楚的是,亦可在不使用MPM及/或映射表之情況下將ALWIP模式與習知內預測模式調和。舉例而言,對於色度區塊,每當當前明度區塊使用ALWIP模式時,ALWIP模式有可能映射至平面內預測模式。7. 實施高效實施例
簡要地概述以上實例,因為其可能在下文形成用於進一步擴展本文中所描述的實施例之基礎。
為了預測圖像10之預定區塊18,在使用多個相鄰樣本之情況下,使用17a、17c。
已經進行藉由平均化之多個相鄰樣本之縮減100以獲得在樣本數目上少於多個相鄰樣本之經縮減樣本值集合102。此縮減在本文中之實施例中係任擇的,且會產生在下文中提及之所謂的樣本值向量。經縮減樣本值集合進行線性或仿射線性變換19以獲得用於預定區塊之預定樣本104的經預測值。此變換以後使用矩陣A及偏移向量b指示並且應為高效地預先形成之實施,該矩陣A及偏移向量b已經藉由機器學習(ML)獲得。
藉由內插,基於用於預定樣本及多個相鄰樣本之經預測值導出用於預定區塊之其他樣本108之預測值。應該說,理論上,仿射/線性變換的結果可與區塊18之非全像素樣本位置相關聯,使得根據替代實施例,可藉由內插獲得區塊18的所有樣本。亦根本不需要內插。
多個相鄰樣本可能沿著預定區塊之二側在一維上延伸,預定樣本以列及行且沿著列及行中之至少一者配置,其中預定樣本可定位於自預定樣本之毗鄰預定區塊之二側的樣本(112)開始之每一第n位置處。基於多個相鄰樣本,對於列及行中之至少一者中之每一者,可判定用於多個相鄰位置中之一個位置(118)之支援值,其對準至列及行中之至少一者中之一個別者,且藉由內插,可基於用於預定樣本之經預測值及用於相鄰樣本之對準至列及行中之至少一者之支援值導出用於預定區塊之其他樣本108之預測值。預定樣本可沿著列定位於自預定樣本之毗連預定區塊之二側的樣本112開始之每一第n位置處,且預定樣本可沿著行定位於自預定樣本之毗連預定區塊之二側的樣本112開始之每一第m位置處,其中n,m>1。可能n=m。沿著列及行中之至少一者,可藉由針對每一支援值對多個相鄰樣本內之相鄰樣本之群組120 (其包括相鄰樣本118,用於其之個別支援值經判定)進行平均化(122)而進行支援值之判定。多個相鄰樣本可沿著預定區塊之二側一維延伸且可藉由將多個相鄰樣本分組成一或多個連續相鄰樣本之群組110並對具有多於二個相鄰樣本之一或多個相鄰樣本之群組中之每一者執行平均化而進行縮減。
對於預定區塊,可在資料串流中傳輸預測殘差。預測殘差可自解碼器處之資料串流導出,且預定區塊可使用用於預定樣本之預測殘差及經預測值來重構。在編碼器處,預測殘差經編碼成編碼器處之資料串流。
該圖像可細分成具有不同區塊大小之多個區塊,該多個區塊包含預定區塊。接著,可能取決於預定區塊之寬度W及高度H選擇用於區塊18之線性或仿射線性變換,使得在第一組線性或仿射線性變換當中選擇針對預定區塊選擇之線性或仿射線性變換,只要預定區塊之寬度W及高度H係在第一組寬度/高度對及第二組線性或仿射線性變換內,只要預定區塊之寬度W及高度H係在不與第一組寬度/高度對相交之第二組寬度/高度對內。再次,隨後變得清楚的是,仿射/線性變換係藉助於其他參數(亦即C之權重,且任擇地,偏移及尺度參數)表示。
解碼器及編碼器可經組配以:將圖像細分成具有不同區塊大小之多個區塊,其包含預定區塊;及取決於預定區塊之寬度W及高度H選擇線性或仿射線性變換,使得在以下各者當中選擇針對預定區塊選擇之線性或仿射線性變換 第一組線性或仿射線性變換,只要預定區塊之寬度W及高度H係在第一組寬度/高度對內, 第二組線性或仿射線性變換,只要預定區塊之寬度W及高度H係在不與第一組寬度/高度對相交之第二組寬度/高度對內,以及 第三組線性或仿射線性變換,只要預定區塊之寬度W及高度H係在不與第一及第二組寬度/高度對相交之第三組一或多個寬度/高度對內。
第三組一或多個寬度/高度對僅僅包含一個寬度/高度對W'、H',且第一組線性或仿射線性變換內之每一線性或仿射線性變換係用於將N'樣本值變換為用於W'×H'樣本位置陣列之W'*H'經預測值。
第一及第二組寬度/高度對中之每一者可包含Wp 不等於Hp 之第一寬度/高度對Wp 、Hp ,及Hq =Wp 且Wq =Hp 之第二寬度/高度對Wq 、Hq
第一及第二組寬度/高度對中之每一者可另外包含Wp 等於Hp 且Hp >Hq 之第三寬度/高度對Wp 、Hp
對於預定區塊,經設定索引可在資料串流中傳輸,該資料串流指示針對區塊18在一組預定線性或仿射線性變換當中選擇哪一線性或仿射線性變換。
多個相鄰樣本可沿著預定區塊的二側在一維上延伸,且可藉由針對毗連預定區塊之第一側的多個相鄰樣本之第一子集將第一子集分組成一或多個連續相鄰樣本之第一群組110及針對毗連預定區塊之第二側的多個相鄰樣本之第二子集將第二子集分組成一或多個連續相鄰樣本之第二群組110及對具有多於二個相鄰樣本之一或多個相鄰樣本的第一及第二群組中之每一者執行平均化而進行縮減,以便自第一群組獲得第一樣本值及獲得用於第二群組之第二樣本值。接著,可取決於經設定索引而在一組預定線性或仿射線性變換當中選擇線性或仿射線性變換,使得經設定索引之二個不同狀態導致選擇線性或仿射線性變換之預定集合之線性或仿射線性變換中之一者,在經設定索引採用呈第一向量之形式的二個不同狀態中之第一狀態之情況下,經縮減樣本值集合可進行預定線性或仿射線性變換以產生經預測值的輸出向量,並且沿著第一掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上,且在經設定索引採用呈第二向量之形式的二個不同狀態中之第二狀態之情況下,第一及第二向量不同,使得由第一向量中之第一樣本值中之一者填充之分量係由第二向量中之第二樣本值中之一者填充,並且由第一向量中之第二樣本值中之一者填充之分量係由第二向量中之第一樣本值中之一者填充,以便產生經預測值之輸出向量,並且將沿著第二掃描次序將輸出向量之經預測值分配至預定區塊之預定樣本上,該預定區塊相對於第一掃描次序轉置。
第一組線性或仿射線性變換內之每一線性或仿射線性變換可用於針對樣本位置之w1 ×h1 陣列將N1 樣本值變換為w1 *h1 經預測值,且第二組線性或仿射線性變換內之每一線性或仿射線性變換係用於針對樣本位置之w2 ×h2 陣列將N2 樣本值變換為w2 *h2 經預測值,其中對於第一組寬度/高度對中之第一預定寬度/高度對,w1 可超過第一預定寬度/高度對之寬度或h1 可超過第一預定寬度/高度對之高度,並且對於第一組寬度/高度對中之第二預定寬度/高度對,w1 無法超過第二預定寬度/高度對之寬度,h1 亦無法超過第二預定寬度/高度對之高度。接著可藉由平均化縮減(100)多個相鄰樣本以獲得經縮減樣本值集合(102),使得在預定區塊具有第一預定寬度/高度對之情況下且在預定區塊具有第二預定寬度/高度對之情況下經縮減樣本值集合102具有N1 個樣本值,且在預定區塊具有第一預定寬度/高度對之情況下可在w1 超過一個寬度/高度對之寬度之情況下沿著寬度尺寸或在h1 超過一個寬度/高度對之高度之情況下沿著高度尺寸藉由僅使用與樣本位置之w1 ×h1 陣列的次取樣有關之選定的線性或仿射線性變換之第一子部分來使經縮減樣本值集合進行選定的線性或仿射線性變換,且在預定區塊具有第二預定寬度/高度對之情況下使經縮減樣本值集合徹底地進行選定的線性或仿射線性變換。
第一組線性或仿射線性變換內之每一線性或仿射線性變換可用於針對w1 =h1 之樣本位置的w1 ×h1 陣列將N1 個樣本值變換為w1 *h1 個經預測值,且第二組線性或仿射線性變換內之每一線性或仿射線性變換係用於針對w2 =h2 之樣本位置的w2 ×h2 陣列將N2 個樣本值變換為w2 *h2 個經預測值。
所有上文所描述之實施例僅僅為說明性的,因為其可在下文形成用於本文中所描述的實施例之基礎。亦即,以上概念及細節應用以理解以下實施例並且應在下文充當本文中所描述的實施例之可能擴展及修正之儲庫。詳言之,許多上文所描述之細節係任擇的,諸如相鄰樣本之平均化、相鄰樣本用作參考樣本之事實等等。
更一般而言,本文中所描述之實施例假定自已重構之樣本產生關於矩形區塊之預測信號,諸如自區塊左邊及上方之相鄰的已經重構之樣本產生關於矩形區塊之內預測信號。預測信號之產生係基於以下步驟。
1. 在目前被稱作邊界樣本之參考樣本中,但不排除將描述轉移至定位在別處之參考樣本之可能性,可藉由平均化來提取樣本。此處,針對區塊左邊及上方之邊界樣本或僅針對二側中之一者上之邊界樣本來實行平均化。若在一側上不實行平均化,則彼側上之樣本保持不變。 2. 實行矩陣向量乘法,任擇地之後為添加偏移,其中矩陣向量乘法之輸入向量為在僅在左側應用平均化之情況下之區塊左邊的經平均化邊界樣本與區塊上方之原始邊界樣本的級聯,或在僅在上述一側上應用平均化之情況下之區塊左邊之原始邊界樣本與區塊上方之經平均化邊界樣本之級聯或在僅在區塊之二側上應用平均化之情況下區塊左邊之經平均化邊界樣本與區塊上方之經平均化邊界樣本的級聯。同樣,將存在替代方案,諸如完全不使用平均化之替代方案。 3. 矩陣向量乘法及任擇的偏移加法之結果可任擇地為關於原始區塊中之經次取樣樣本集之經縮減預測信號。剩餘的位置處之預測信號可藉由線性內插自關於經次取樣集合之預測信號產生。
步驟2中之矩陣向量乘積之計算應較佳地以整數算術來實行。因此,若
Figure 02_image267
表示用於矩陣向量乘積之輸入,亦即
Figure 02_image269
表示區塊左邊及上方之(經平均化)邊界樣本之級聯,則在
Figure 02_image269
當中,在步驟2中計算出的(經縮減)預測信號應僅使用位元移位、將偏移向量相加,及與整數相乘來計算。理想地,步驟2中之預測信號將給定為
Figure 02_image271
,其中
Figure 02_image105
為可為零之偏移向量且其中
Figure 02_image101
藉由某一基於機器學習之訓練演算法導出。然而,此訓練演算法通常僅產生以浮點精確度給定之矩陣
Figure 02_image273
。因此,面臨著在前述意義上指定整數運算使得使用此等整數運算較佳近似表達式
Figure 02_image275
的問題。此處,重要的是提及,不必選擇此等整數運算使得其近似假設向量
Figure 02_image269
之均勻分佈的表達式
Figure 02_image275
但通常考慮到表達式
Figure 02_image275
將近似之輸入向量
Figure 02_image269
為來自自然視訊信號之(經平均化)邊界樣本,其中可預期
Figure 02_image269
之分量
Figure 02_image277
之間的一些相關性。
圖8展示改良ALWIP預測。可基於藉由某一基於機器學習之訓練演算法導出之矩陣A 1100與樣本值向量400之間的第一矩陣向量乘積來預測預定區塊之樣本。任擇地,可添加偏移b 1110。為了實現此第一矩陣向量乘積之整數近似或定點近似,樣本值向量可進行可逆線性變換403以判定另一向量402。另一矩陣B 1200與另一向量402之間的第二矩陣向量乘積可等於第一矩陣向量乘積之結果。
由於另一向量402之特徵,第二矩陣向量乘積可為藉由預定預測矩陣C 405與另一向量402加上另一偏移408之間的矩陣向量乘積404近似之整數。另一向量402及另一偏移408可由整數或定點值組成。舉例而言,另一偏移之所有分量係相同的。預定預測矩陣405可為經量化矩陣或待量化之矩陣。預定預測矩陣405與另一向量402之間的矩陣向量乘積404之結果可理解為預測向量406。
在下文中,提供關於此整數近似之更多細節。根據實例之可能解決方案 I 減去及加上平均值
可用於以上情境中之表達式
Figure 02_image275
之整數近似的一個可能併入為藉由
Figure 02_image269
之分量之平均值
Figure 02_image279
(亦即預定值1400)來替換
Figure 02_image269
(亦即樣本值向量400)之第𝑖0 分量
Figure 02_image281
,亦即預定分量1500及自所有其他分量減去此平均值。換言之,界定如圖9a中所展示之可逆線性變換403使得另一向量402之預定分量1500變成a,且另一向量402之其他分量中之每一者(除了預定分量1500之外)等於樣本值向量之對應分量減去a,其中a為預定值1400,其例如為樣本值向量400之分量之平均值,諸如算術均值或經加權平均值。關於該輸入之此運算係藉由可逆變換
Figure 02_image283
403給定,該可逆變換尤其在
Figure 02_image269
之尺寸
Figure 02_image085
為二之冪的情況下具有明顯的整數實施。
由於
Figure 02_image285
,若對輸入
Figure 02_image269
進行此變換,則必須發現矩陣向量乘積
Figure 02_image287
之整數近似,其中
Figure 02_image289
Figure 02_image291
。由於矩陣向量乘積
Figure 02_image275
表示對矩形區塊,亦即預定區塊之預測,且由於
Figure 02_image269
包含該區塊之(例如,經平均化)邊界樣本,應預期在
Figure 02_image269
之所有樣本值相等之情況下,亦即對於所有
Figure 02_image293
Figure 02_image295
之情況下,預測信號
Figure 02_image275
中之每一樣本值應接近於
Figure 02_image297
或完全等於
Figure 02_image297
。此意謂應預期第
Figure 02_image299
行,亦即對應於
Figure 02_image301
之預定分量之行非常接近或等於僅由一組成之行。因此,若
Figure 02_image303
),亦即整數矩陣1300為其第𝑖0 行由一組成且所有其他行均為零之矩陣,寫為
Figure 02_image305
)y,其中
Figure 02_image307
,則應預期
Figure 02_image309
之第𝑖0 行,亦即預定預測矩陣405實際上具有較小條目或為零,如圖9b中所示。此外,由於
Figure 02_image269
之分量為相關的,可預期對於每一
Figure 02_image311
Figure 02_image313
之第i分量
Figure 02_image315
相較於x之第i分量常常具有小得多的絕對值。由於矩陣
Figure 02_image317
為整數矩陣,因此在給定
Figure 02_image319
之整數近似之情況下實現
Figure 02_image287
之整數近似,且藉由以上自變量,可預期藉由以合適方式量化
Figure 02_image309
之每一條目而產生之量化錯誤應回應於
Figure 02_image275
而僅稍微影響
Figure 02_image287
之所得量化的錯誤。
預定值1400不必為均值
Figure 02_image279
。表達式
Figure 02_image275
之本文所描述之整數近似亦可藉由預定值1400之以下替代定義實現:
在表達式
Figure 02_image275
之整數近似之另一可能併入中,
Figure 02_image269
之第
Figure 02_image299
分量
Figure 02_image281
保持不變且自所有其他分量減去同一值
Figure 02_image281
。亦即,
Figure 02_image321
Figure 02_image323
,對於每一
Figure 02_image311
。換言之,預定值1400可為樣本值向量400之對應於預定分量1500的分量。
替代地,預定值1400為預設值或在圖像經寫碼成之資料串流中傳信的值。
預定值1400等於例如2bitdepth -1 。在此情況下,另一向量402可由y0 =2bitdepth -1 及yi =xi -x0 界定,其中i>0。
替代地,預定分量1500變為常數減去預定值1400。常數等於例如2bitdepth-1 。根據一實施例,另一向量y 402之預定分量
Figure 02_image325
1500等於2bitdepth-1 減去樣本值向量400對應於預定分量1500之分量
Figure 02_image281
,且另一向量402之所有其他分量等於樣本值向量400之對應分量減去樣本值向量400之對應於預定分量1500的分量。
舉例而言,預定值1400與預定區塊之樣本的預測值具有較小偏差係有利的。
根據一實施例,該設備1000經組配以包含多個可逆線性變換403,該等可逆線性變換中之每一者係與另一向量402之一個分量相關聯。此外,該設備例如經組配以自樣本值向量400之分量當中選擇預定分量1500並且使用多個可逆線性變換中之與預定分量1500相關聯之可逆線性變換403作為預定可逆線性變換。此係例如由於第i0 列(亦即對應於預定分量之可逆線性變換403的列)之不同位置,此取決於另一向量中之預定分量的位置。若例如另一向量402之第一分量,亦即y1 係預定分量,則第io 列將替代可逆線性變換之第一列。
如圖9b中所展示,預定預測矩陣405之行412 (亦即第i0 行)內之預測矩陣C 405的矩陣分量414 (其對應於另一向量402之預定分量1500)例如均為零。在此情況下,該設備例如經組配以藉由計算由預定預測矩陣C 405去掉行412產生之經縮減預測矩陣C' 405與由另一向量402去掉預定分量1500產生之又一向量410之間的矩陣向量乘積407執行乘法而計算矩陣向量乘積404,如圖9c中所示。因此,可藉由較少次乘法計算預測向量406。
如圖8、圖9b及圖9c中所展示,該設備1000可經組配以在基於預測向量406預測預定區塊之樣本時針對預測向量406之每一分量計算個別分量與a (亦即預定值1400)的總和。此求和可由預測向量406與向量409之總和表示,其中向量409之所有分量等於預定值1400,如圖8及圖9c中所展示。替代地,該求和可由預測向量406同整數矩陣M 1300與另一向量402之間的矩陣向量乘積1310的總和表示,如圖9b中所展示,其中整數矩陣1300之矩陣分量為整數矩陣1300之一行,亦即第i0 行內之1,該矩陣對應於另一向量402之預定分量1500,且所有其他分量例如均為零。
預定預測矩陣405與整數矩陣1300之求和的結果等於或近似例如圖8中所展示之另一矩陣1200。
換言之,產生於將預定預測矩陣405之行412 (亦即第i0 行)內之預定預測矩陣C 405之每一矩陣分量(其對應於另一向量402之預定分量1500)與乘以可逆線性變換403之一(亦即矩陣B)求和之矩陣,亦即另一矩陣B 1200,對應於例如機器學習預測矩陣A 1100之經量化版本,如圖8、圖9a及圖9b中所展示。第i0 行412內之預定預測矩陣C 405之每一矩陣分量與一之求和可對應於預定預測矩陣405與整數矩陣1300之求和,如圖9b中所展示。如圖8中所展示,機器學習預測矩陣A 1100可等於另一矩陣1200乘以可逆線性變換403之結果。此係由於
Figure 02_image327
。預定預測矩陣405為例如經量化矩陣、整數矩陣及/或定點矩陣,藉此可實現機器學習預測矩陣A 1100之經量化版本。僅使用整數運算之矩陣乘法
對於低複雜性實施(就加上及乘以純量值之複雜性而言,以及就所涉及矩陣之條目所需的儲存而言),需要僅使用整數算術來執行矩陣乘法404。
為了計算
Figure 02_image329
之近似,亦即
Figure 02_image331
在僅使用整數運算之情況下,根據一實施例,實值
Figure 02_image333
必須映射至整數值
Figure 02_image335
。此可例如藉由均一的純量量化,或藉由考慮值
Figure 02_image337
之間的特定相關性來進行。整數值表示例如定點數,其可各自以固定數目的位元n_bit來儲存,例如n_bit=8。
接著可如同此偽程式碼中所展示來實行與具有大小m×n之矩陣(亦即預定預測矩陣405)之矩陣向量乘積404,其中<<, >>係算術二進位左移位運算及右移位運算,且+、-及*僅對整數值進行運算。(1) final_offset = 1 << (right_shift_result - 1); for i in 0…m-1 { accumulator = 0 for j in 0…n-1 { accumulator: = accumulator + y[j]*C[i,j] } z[i] = (accumulator + final_offset) >> right_shift_result; }
此處,陣列C,亦即預定預測矩陣405將定點數儲存為例如整數。final_offset之最終相加及right_shift_result之右移位運算藉由捨位降低精確度以獲得輸出處所需之定點格式。
為了允許可由C中之整數表示之實值之增大範圍,可使用二個額外矩陣offseti,j scalei,j ,如圖10及圖11之實施例中所示,使得以下矩陣向量乘積中
Figure 02_image339
之每一係數
Figure 02_image341
Figure 02_image343
由下式給定
Figure 02_image345
offseti,j scalei,j 自身為整數值。舉例而言,此等整數可表示定點數,其可各自以固定數目之位元(例如8個位元)或以例如相同數目的位元n_bit (其用於儲存值
Figure 02_image335
)來儲存。
換言之,該設備1000經組配以使用預測參數(例如整數值
Figure 02_image335
以及值offseti,j scalei,j )表示預定預測矩陣405且藉由對另一向量402之分量以及產生於其之預測參數及中間結果執行乘法及求和而計算矩陣向量乘積404,其中預測參數之絕對值可由n位元定點數表示型態來表示,其中n等於或低於14,或替代地等於或低於10,或替代地等於或低於8。舉例而言,另一向量402之分量乘以預測參數以產生作為中間結果之乘積,其又進行求和或形成求和之加數。
根據一實施例,預測參數包含權重,其中之每一者係與預測矩陣之對應的矩陣分量相關聯。換言之,預定預測矩陣例如由預測參數替換或表示。該等權重例如為整數及/或定點值。
根據一實施例,預測參數進一步包含一或多個縮放因數,例如值scalei,j ,該一或多個縮放因數中之每一者係與用於縮放權重(例如整數值
Figure 02_image335
)之預定預測矩陣405的一或多個對應的矩陣分量相關聯,該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。另外或替代地,預測參數包含一或多個偏移,例如值offseti,j ,其中之每一者係與使權重(例如整數值
Figure 02_image335
)偏移之預定預測矩陣405之一或多個對應的矩陣分量相關聯,該權重與預定預測矩陣405之一或多個對應的矩陣分量相關聯。
為了縮減offseti,j scalei,j 必需之儲存量,其值可經選擇成對於索引i、j之特定集合係恆定的。舉例而言,其條目對於每一行可為恆定的,且其對於每一列可為恆定的,或其對於所有i、j可為恆定的,如圖10中所展示。
舉例而言,在一個較佳實施例中,offseti ,j scalei ,j 對於一個預測模式之矩陣之所有值均為恆定的,如圖11中所示。因此,當存在K個預測模式時,其中k =0…K-1,僅需要單個值
Figure 02_image347
及單個值
Figure 02_image349
來計算用於眾數k之預測。
根據一實施例,offseti,j 及/或scalei,j 對於所有基於矩陣之內預測模式均為恆定的,亦即相同的。另外或替代地,offseti,j 及/或scalei,j 對於所有區塊大小有可能為恆定的,亦即相同的。
在偏移表示
Figure 02_image347
且縮放表示
Figure 02_image349
之情況下,(1)中之計算可經修改成:(2) final_offset = 0; for i in 0…n-1 { final_offset: = final_offset - y[i]; } final_offset *= final_offset * offset * scale; final_offset += 1 << (right_shift_result - 1); for i in 0…m-1 { accumulator = 0 for j in 0…n-1 { accumulator: = accumulator + y[j]*C[i,j] } z[i] = (accumulator*scale + final_offset) >> right_shift_result; }由彼解決方案產生之擴大實施例
以上解決方案意指以下實施例: 1. 如第I部分中,第I部分之步驟2中之預測方法,進行以下運算以用於所涉及矩陣向量乘積之整數近似:在(經平均化)邊界樣本
Figure 02_image267
當中,對於固定
Figure 02_image299
(其中
Figure 02_image351
),計算向量
Figure 02_image353
,其中
Figure 02_image315
(對於
Figure 02_image311
)且其中
Figure 02_image355
且其中
Figure 02_image297
表示
Figure 02_image269
之均值。向量
Figure 02_image313
接著充當用於矩陣向量乘積
Figure 02_image357
之輸入(矩陣向量乘積之整數實現),使得來自第I部分之步驟2之(經減少取樣)預測信號
Figure 02_image359
給定為
Figure 02_image361
。在此等式中,
Figure 02_image363
表示等於
Figure 02_image297
之用於(經減少取樣)預測信號之域中之每一樣本位置的信號。(參見例如圖9b) 2. 如第I部分中,第I部分之步驟2中之預測方法,進行以下運算以用於所涉及矩陣向量乘積之整數近似:在(經平均化)邊界樣本
Figure 02_image267
當中,對於固定
Figure 02_image299
(其中
Figure 02_image351
),計算向量
Figure 02_image365
,其中
Figure 02_image315
(對於
Figure 02_image367
)且其中
Figure 02_image369
(對於
Figure 02_image371
)且其中
Figure 02_image297
表示
Figure 02_image269
之均值。向量
Figure 02_image313
接著充當用於矩陣向量乘積
Figure 02_image357
之輸入(矩陣向量乘積之整數實現),使得來自第I部分之步驟2之(經減少取樣)預測信號
Figure 02_image359
給定為
Figure 02_image361
。在此等式中,
Figure 02_image363
表示等於
Figure 02_image297
之用於(經減少取樣)預測信號之域中之每一樣本位置的信號。(參見例如圖9c) 3. 如第I部分中之預測方法,其中矩陣向量乘積
Figure 02_image357
之整數實現藉由使用矩陣向量乘積
Figure 02_image373
中之係數
Figure 02_image375
給定。(參見例如圖10) 4. 如第I部分中之預測方法,其中步驟2使用K個矩陣中之一者,使得可計算出多個預測模式,其各自使用不同矩陣
Figure 02_image377
(其中k=0…K-1),其中矩陣向量乘積
Figure 02_image379
之整數實現藉由使用矩陣向量乘積
Figure 02_image373
中之係數
Figure 02_image381
給定。(參見例如圖11)
亦即,根據本申請案之實施例,編碼器及解碼器如下操作以便預測圖像10之預定區塊18,參見圖8。為了預測,使用多個參考樣本。如上文所概述,本申請案之實施例將不限於內寫碼並且因此,參考樣本將不限於相鄰樣本,亦即圖像10中與區塊18相鄰之樣本。詳言之,參考樣本將不限於沿著區塊18之外邊緣配置之參考樣本,諸如鄰接於區塊之外邊緣之樣本。然而,此情形當然為本申請案之一個實施例。
為了執行預測,自諸如參考樣本17a及17c之參考樣本形成樣本值向量400。上文已經描述可能的形成。該形成可涉及平均化,進而相較於促成形成之參考樣本17縮減樣本102之數目或向量400之分量的數目。如上文所描述,該形成亦可在某種程度上取決於區塊18之尺寸或大小,諸如其寬度及高度。
此向量400應進行仿射或線性變換以便獲得區塊18之預測。上文已經使用不同命名法。使用最近的一種命名法,旨在藉由在執行偏移向量b之求和內藉助於矩陣向量乘積將向量400應用於矩陣A而執行預測。偏移向量b係任擇的。A或A及B判定之仿射或線性變換可由編碼器及解碼器判定,或更確切而言,為基於區塊18之大小及尺寸的預測起見,來判定該仿射或線性變換,如上文已經描述。
然而,為了實現上文所概述之計算效率改良或就實施而言使預測更有效,該仿射或線性變換已經量化,且編碼器及解碼器或其預測器使用上文所提及之C及T以便表示及執行線性或仿射變換,其中以上文所描述的方式應用之C及T表示仿射變換之經量化版本。詳言之,代替將向量400直接應用於矩陣A,編碼器及解碼器中之預測器應用向量402,其藉助於經由預定可逆線性變換T將樣本值向量400進行映射而產生於該樣本值向量。如此處所使用之變換T可能相同,只要向量400具有相同大小,亦即並不取決於區塊之尺寸,亦即寬度及高度,或至少對於不同仿射/線性變換相同。在上文中,向量402已經表示為y。用以執行如藉由機器學習所判定之仿射/線性變換之確切矩陣將為B。然而,代替確切地執行B,編碼器及解碼器中之預測係藉助於其近似或經量化版本來進行。詳言之,該表示係經由以上文所概述之方式適當地表示C而進行,其中C + M表示B之經量化版本。
因此,進一步藉由計算向量402與以上文所描述的方式在編碼器及解碼器處適當地表示且儲存之預定預測矩陣C之間的矩陣向量乘積404來進行編碼器及解碼器中之預測。產生於此矩陣向量乘積之向量406接著用於預測區塊18之樣本104。如上文所描述,為預測起見,向量406之每一分量可與參數a進行求和,如在408處所指示,以便補償C之對應的定義。基於向量406導出區塊18之預測中亦可涉及向量406與偏移向量b之任擇的求和。如上文所描述,向量406之每一分量,及因此向量406、在408處所指示之所有a之向量及任擇的向量b之求和之每一分量有可能直接對應於區塊18之樣本104且因此指示樣本之經預測值。亦可僅以彼方式預測區塊之樣本104之子集且藉由內插導出區塊18之剩餘樣本,諸如108。
如上文所描述,存在用於設定a之不同實施例。舉例而言,其可為向量400之分量的算術均值。對於彼情況,參見圖9。可逆線性變換T可如圖9中所指示。i0 分別為樣本值向量及向量402之預定分量,其由a替代。然而,亦如上文指示,存在其他可能性。然而,就C之表示而言,上文亦已指示C可以不同方式體現。舉例而言,矩陣向量乘積404可在其實際計算中以具有較低維度之較小矩陣向量乘積的實際計算結束。詳言之,如上文所指示,由於C的定義,C的整個第i0 行412可變為0,使得可藉由向量402之經縮減版本來進行乘積404之實際計算,該經縮減版本藉由省略分量
Figure 02_image325
,亦即藉由將此經縮減向量410乘以經縮減矩陣C'而產生於向量402,該經縮減矩陣藉由遺漏第i0 行412而產生於C。
C之權重或C'之權重,亦即此矩陣的分量可以定點數表示型態來表示及儲存。然而,此等權重414可又如上文所描述以與不同縮放及/或偏移相關的方式儲存。縮放及偏移可針對整個矩陣C界定,亦即對於矩陣C或矩陣C'之所有權重414為相等的,或可以一方式界定使得對於矩陣C及矩陣C'之相同列的所有權重414或相同行的所有權重414分別為恆定或相等的。圖10說明就此而言,矩陣向量乘積之計算(亦即乘積之結果)實際上可稍微不同地執行,亦即例如藉由將與縮放之乘法朝向向量402或404移位,進而縮減必須進一步執行之乘法的數目。圖11說明使用用於C或C'之所有權重414的一個縮放及一個偏移之情況,諸如在以上計算(2)中進行。
根據一實施例,用於預測圖像之預定區塊的本文中所描述之設備可經組配以使用基於矩陣之內樣本預測,其包含以下特徵: 該設備經組配以自多個參考樣本17形成樣本值向量pTemp[x] 400。假定pTemp[x]為2* boundarySize,可藉由以下操作填充pTemp[x]-例如,藉由直接複製位於預定區塊之頂部處之相鄰樣本(x = 0…boundarySize - 1之redT[ x ])之後為位於預定區塊左邊之相鄰樣本(x = 0…boundarySize - 1之redL[ x ]) (例如在isTransposed=0之情況下) (或在經轉置處理之情況下反之亦然(例如在isTransposed=1之情況下))或對以上樣本進行次取樣或合併。
導出x = 0…inSize - 1之輸入值p[ x ],亦即該設備經組配以自樣本值向量pTemp[x]導出另一向量p[x],樣本值向量pTemp[x]藉由預定可逆線性變換(或更特定言之,預定可逆仿射線性變換)映射至該另一向量,如下: - 若mipSizeId等於2,則以下適用: p[ x ] = pTemp[ x + 1 ] - pTemp[ 0 ] - 否則(mipSizeId小於2),以下適用: p[ 0 ] = ( 1  <<  ( BitDepth - 1 ) ) - pTemp[ 0 ] p[ x ] = pTemp[ x ] - pTemp[ 0 ],其中x = 1…inSize - 1
此處,變數mipSizeId指示預定區塊之大小。亦即,根據本實施例,另一向量自樣本值向量導出所使用之可逆變換取決於預定區塊之大小。該相依性可能根據以下給定
mipSizeId boundarySize predSize
0 2 4
1 4 4
2 4 8
其中predSize指示預定區塊內之經預測樣本之數目,且根據inSize = ( 2 * boundarySize ) - ( mipSizeId  = =  2 ) ? 1 : 0,2*bondarySize指示樣本值向量之大小且與inSize (亦即另一向量之大小)有關。更精確而言,inSize指示實際上參與計算之另一向量之彼等分量的數目。inSize係與用於較小區塊大小之樣本值向量之大小一樣大,且一個分量對於較大區塊大小較小。在前一情況下,可忽視一個分量,亦即將對應於另一向量之預定分量的分量,如在隨後計算之矩陣向量乘積中,對應的向量分量之貢獻無論如何將產生零,且因此,實際上不需要計算。在替代實施例之情況下,可忽略對區塊大小之相依性,其中僅不可避免地使用二個替代方案中之一者,亦即不管區塊大小如何(對應於mipSizeId小於2之選項,或對應於mipSizeId等於2之選項)。
換言之,例如,界定預定可逆線性變換使得另一向量p之預定分量變為a,而所有其他分量對應於樣本值向量之分量減去a,其中例如a=pTemp[0]。在對應於mipSizeId等於2之第一選項之情況下,此係容易地可見並且進一步考慮另一向量之以差分方式形成之分量。亦即,在第一選項之情況下,另一向量實際上為{p[0… inSize];pTemp[0]},其中pTemp[0]為a,且用以產生矩陣向量乘積之矩陣向量乘法之實際上經計算部分,亦即乘法之結果僅限於另一向量之inSize分量及矩陣之對應行,因為矩陣具有不需要計算之零行。在對應於mipSizeId小於2之其他情況下,選擇a=pTemp[0],作為除了p[0]之外的另一向量之所有分量,亦即另一向量p之除了預定分量p[0]之外的其他分量p[x] (其中x = 1…inSize - 1)中之每一者等於樣本值向量pTemp[x]之對應分量減去a,但p[0]經選擇為常數減去a。接著計算矩陣向量乘積。該常數為可表示值之均值,亦即2x-1 (亦即1  <<  ( BitDepth - 1 )),其中x表示所使用之計算表示的位元深度。應注意,若p[0]反而經選擇為pTemp[0],則經計算乘積將僅與使用如上文所指示之p[0] (p[ 0 ] = ( 1  <<  ( BitDepth - 1 )) - pTemp[ 0 ])計算之一個乘積偏離一常數向量,當基於該乘積預測內部區塊時,可考慮該常數向量,亦即預測向量。因此,值a為預定值,例如,pTemp[0]。預定值pTemp[0]在此情況下例如為樣本值向量pTemp之對應於預定分量p[0]之分量。其可為預定區塊頂部或預定區塊左邊之最接近預定區塊之左上角的相鄰樣本。
對於根據predModeIntra之例如指定內預測模式的內樣本預測過程,該設備例如經組配以應用以下步驟,例如執行至少第一步驟: 1. 基於矩陣之內預測樣本predMip[x][y],其中x = 0…predSize - 1,y = 0…predSize - 1導出如下: - 變數modeId經設定成等於predModeIntra。 - x = 0…inSize - 1,y = 0…predSize * predSize - 1之權重矩陣mWeight[ x ][ y ]係藉由使用mipSizeId及modeId調用MIP權重矩陣導出過程而導出以作為輸入。 - 基於矩陣之內預測樣本predMip[x][y],其中x = 0…predSize - 1,y = 0…predSize - 1導出如下: oW = 32 - 32 * (
Figure 02_image383
) predMip[ x ][ y ] = ( ( (
Figure 02_image385
) + oW ) >> 6 ) + pTemp[ 0 ]
換言之,該設備經組配以計算另一向量p[i]或在mipSizeId等於2之情況下為{p[i];pTemp[0]}與預定預測矩陣mWeight或在mipSizeId小於2之情況下為具有對應於p之經省略分量的額外零權重行之預測矩陣mWeight之間的矩陣向量乘積,以便獲得預測向量,其在此處已經指派給分佈於預定區塊之內部中的區塊位置{x,y}之陣列以便產生陣列predMip[ x ][ y ]。預測向量將分別對應於predMip[ x ][ y ]之列或predMip[ x ][ y ]之行的級聯。
根據一實施例,或根據不同解釋,僅分量(((
Figure 02_image385
) + oW ) >> 6 )經理解為預測向量,且該設備經組配以在基於預測向量預測預定區塊之樣本時針對預測向量之每一分量計算個別分量與a (例如pTemp[0])之總和。
任擇地,該設備可經組配以在基於預測向量,例如predMip或((
Figure 02_image385
) + oW ) >> 6預測預定區塊之樣本時另外執行以下步驟。
2. 其中x = 0…predSize - 1、y = 0…predSize - 1之基於矩陣之內預測樣本predMip[ x ][ y ]例如經削剪如下: predMip[ x ][ y ] = Clip1( predMip[ x ][ y ] )
3. 當isTransposed等於TRUE時,predSize×predSize陣列predMip[ x ][ y ] (其中x = 0…predSize - 1,y = 0…predSize - 1)例如經轉置如下: predTemp[ y ][ x ] = predMip[ x ][ y ] predMip = predTemp
4. 經預測樣本predSamples[ x ][ y ] (其中x = 0…nTbW - 1,y = 0…nTbH - 1)例如導出如下: - 若指定變換區塊寬度之nTbW大於predSize或指定變換區塊高度之nTbH大於predSize,則運用作為輸入之輸入區塊大小predSize、基於矩陣之內預測樣本predMip[ x ][ y ] (其中x = 0…predSize - 1,y = 0…predSize - 1)、變換區塊寬度nTbW、變換區塊高度nTbH、頂部參考樣本refT[ x ] (其中x = 0…nTbW - 1)及左邊參考樣本refL[ y ] (其中y = 0…nTbH - 1)調用MIP預測增加取樣過程,且輸出係經預測樣本陣列predSamples。 - 否則,predSamples[x][y] (其中x = 0…nTbW - 1,y = 0…nTbH - 1)經設定成等於predMip[x][y]。
換言之,該設備經組配以基於預測向量predMip來預測預定區塊之樣本predSamples。8. 使用基於區塊之內預測模式以及其他內預測模式之實施例
所有上述描述均應被視為目前所描述之實施例之任擇的實施細節。請注意,在下文中,術語基於區塊之內預測用於表示可由上文ALWIP體現或等於上文ALWIP所指示之彼等內預測模式的內預測模式。
圖12展示用於使用內預測解碼圖像10之預定區塊18之設備3000的實施例。設備3000經組配以自資料串流12導出指示是否使用包含DC內預測模式506及角預測模式500之內預測模式之第一集合508中之一者預測預定區塊18的集合選擇性語法元素522。資料串流12可包含指示設備3000之功能的不同語法元素及/或索引。
若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一者預測預定區塊18,則設備3000經組配以基於在預測與預定區塊18相鄰之相鄰區塊524、526時使用之內預測模式3050形成最可能內預測模式之清單528。換言之,基於用於預測相鄰區塊524及526之內預測模式3050將內預測模式之第一集合508中之內預測模式506、500定位/配置於最可能內預測模式之清單528中。舉例而言,設備3000經組配以保存用於已預測區塊之預測模式並自所保存預測模式當中獲得用於相鄰區塊524及526之預測模式3050或分析相鄰區塊524及526以獲得用於相鄰區塊524及526之預測模式3050。根據一實施例,設備3000經組配以搜尋與用於內預測模式之第一集合508中之相鄰區塊524及526的預測模式3050相同或類似的內預測模式並形成來自此等相同或類似的內預測模式之最可能內預測模式之清單528。
形成最可能內預測模式之清單528,使得在專門藉由角度內預測模式500中之任一者預測相鄰區塊524及526的情況下,最可能內預測模式之清單528不含DC內預測模式506。因此,DC內預測模式506之可用性僅取決於預定區塊18之相鄰區塊524及526而非圖像10之其他區塊。若使用角度內預測模式500預測至少一個相鄰區塊524或526,則DC內預測模式506例如不定位/配置於最可能內預測模式之清單528中。若使用角度內預測模式500預測二個相鄰區塊524及526,則最可能內預測模式之清單528亦可不含DC內預測模式506。
此外,該設備經組配以自資料串流導出MPM清單索引534,若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一者預測預定區塊18。 MPM清單索引534在最可能內預測模式之清單528中指向預定內預測模式。設備3000經組配以使用預定內預測模式3100對預定區塊18進行內預測。
若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18,則設備3000經組配以自資料串流12導出指示來自基於矩陣之內預測模式,亦即基於區塊之內預測模式510之第二集合520的預定的基於矩陣之內預測模式,亦即預定的基於區塊之內預測模式3200的另一索引540。換言之,基於另一索引540在基於區塊之內預測模式之第二集合520當中選擇預定的基於區塊之內預測模式3200以用於預測預定區塊18。若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18,則設備3000經組配以計算自預定區塊18之鄰域中之參考樣本17導出之向量514及與預定的基於矩陣之內預測模式3200相關聯之預定預測矩陣516之間的矩陣向量乘積512以便獲得預測向量518,並基於預測向量518預測預定區塊18之樣本。
資料串流12基於集合選擇性語法元素522包含MPM清單索引534或另一索引540。
設備3000可包含如相對於圖13所描述之特徵及或功能性。
由此,在下文中相對於圖13所描述之實施例係關於支援內預測以用於解碼/編碼預定區塊18之解碼器及編碼器,其中支援不同內預測模式。使用與預定區塊18相鄰之參考樣本17所根據之角度內預測模式500用以填充預定區塊18以便獲得用於預定區塊18之內預測信號。詳言之,沿著預定區塊18之邊界,諸如沿著預定區塊18之上部邊緣及左側邊緣配置之參考樣本17表示圖像內容,其沿著預定方向502外插或複製至預定區塊18之內部中。在外插或複製之前,由相鄰樣本17表示之圖像內容可進行內插濾波或換言之可藉助於內插濾波自相鄰樣本17導出。角度內預測模式500彼此不同之處在於內預測方向502。每一角度內預測模式500可具有與其相關聯之索引,其中索引與角度內預測模式500之相關性可使得方向500在根據相關聯模式索引排序角度內預測模式500時單調地順時針或逆時針旋轉。
亦可存在例如非角度內預測模式504,圖13說明任擇地含於集合508中之平面內預測模式,根據該平面內預測模式基於相鄰樣本17導出由水平斜率、豎直斜率及偏移界定之二維線性函數,藉由此線性函數界定預定區塊18之預測樣本值。基於相鄰樣本17導出水平斜率、豎直斜率及偏移。根據一實施例,內預測模式之第一集合508包含平面內預測模式504。
含於集合508中之特定非角度內預測模式、DC模式說明於506處。此處,基於相鄰樣本17導出一個值,準DC值且這一個DC值歸因於預定區塊18之所有樣本以便獲得內預測信號。儘管展示非內預測模式之二個實例,但可僅存在一個實例或存在多於二個實例。
內預測模式500、504及506形成編碼器及解碼器支援之內預測模式之集合508,其中在速率/失真最佳化意義上與通常使用參考符號510指示之基於區塊之內預測模式(上文使用縮寫ALWIP論述其實例)競爭。如上文所描述,根據此等基於區塊之內預測模式510,執行一方面自相鄰樣本17導出之向量514與另一方面預定預測矩陣516之間的矩陣向量乘積520。乘法512之結果為用於預測預定區塊18之樣本之預測向量518。基於區塊之內預測模式510彼此不同之處在於與個別模式相關聯之預測矩陣516。
因此,簡言之,根據本文所描述之實施例的編碼器及解碼器包含內預測模式之集合508,亦即內預測模式之第一集合及基於區塊之內預測模式之集合520,亦即基於矩陣之內預測模式之第二集合,且該等集合彼此競爭。
根據本申請案之實施例,預定區塊18按以下方式使用內預測寫碼/解碼。詳言之,首先,集合選擇使用內預測模式之集合508中之任一者抑或基於區塊之內預測模式之集合520中之模式中之任一者預測預定區塊18的語法元素522。若集合選定語法元素指示使用集合508,亦即內預測模式之第一集合中之任一模式預測預定區塊18,則基於已經預測與區塊18相鄰之在524及526處例示性地指示之相鄰區塊所使用之內預測模式在解碼器及編碼器處解釋/形成來自集合508之最可能候選者之清單528。可以預定方式,諸如藉由判定與區塊18之某些相鄰樣本(諸如區塊18之左上樣本頂部之樣本)及含有剛剛提及之轉角樣本左側之樣本之區塊526重疊的彼等相鄰區塊相對於預定區塊18之位置判定相鄰區塊524及526。自然地,此僅為實例。這同樣適用於用於模式預測之相鄰區塊之數目,其對於所有實施例並不限於二個。可使用多於二個或僅一個相鄰區塊。若此等區塊524及526中之任一者丟失,則預設內預測模式可預設地用作丟失相鄰區塊之內預測模式之取代物。若區塊524及526中之任一者已經使用間預測模式,諸如藉由經運動補償之預測寫碼/解碼,則這同樣可適用。
來自集合508之模式之清單,亦即最可能內預測模式之清單528之構造如下。清單528之清單長度,亦即其中之最可能模式之數目可預設地固定。該長度可如圖13中所說明為四個,或可與其不同,諸如五個或六個。後一情況適用於下文中所描述之特定實例。稍後將描述之資料串流中之索引可指示來自待用於預定區塊18之清單528之一個模式。沿著清單次序或順位530執行編索引,其中例如長度可變之清單索引經寫碼使得索引之長度沿著次序530單調遞增。因此,首先,僅藉由來自集合508之最可能模式填充清單528,且沿著次序530將較可能模式相對於適合於區塊18之機率較低之模式置放在上游為值得的。基於用於區塊524及526,亦即與預定區塊18相鄰之相鄰區塊的模式導出清單528之模式。若區塊524及526中之任一者已經使用來自集合520之基於區塊之模式510進行內預測,則使用前文描述之自此類「ALWIP」或基於區塊之模式510至集合508內之模式(比如非ALWIP模式)的映射。後一映射可例如將基於區塊之模式510中之大多數(亦即,多於一半)映射至DC模式506 (或DC模式506或平面模式504中之任一者)。
根據一實施例,以獨立於在預測相鄰區塊時使用之內預測模式之方式以平面內預測模式504填充最可能內預測模式之清單528。因此,舉例而言,取決於用於相鄰區塊524及526之預測之內預測模式,僅DC內預測模式506及角度內預測模式500填充在清單528中。舉例而言,平面內預測模式504獨立於在預測相鄰區塊524及526時使用之內預測模式定位於最可能內預測模式之清單528中之第一位置處。
以下文中更詳細地例示性地說明之方式,以一方式進行最可能內預測模式之清單528之清單構造,使得若已經專門藉由任一角度內預測模式500預測相鄰區塊524及526,則清單528不含DC內預測模式506。若藉由任一角度內預測模式500預測一個相鄰區塊524或526及/或若藉由任一角度內預測模式500預測二個相鄰區塊524及526,則DC內預測模式506並不在最可能內預測模式之清單528中。根據下文中闡明之實施例,僅在以下情形對於所有相鄰區塊524及526均成立的情況下以DC模式506填充例如清單528:將已經使用非角度內預測模式504及506中之任一者寫碼或已經使用任一基於區塊之內預測模式510 (其藉助於前文提及之自基於區塊之內預測模式510至集合508內之模式的映射)預測之區塊映射至非角度內預測模式504及506中之任一者。僅在該情況下,DC內預測模式506定位在清單528中。在這種情況下,該DC內預測模式可按次序530被定位在任一角度內預測模式500之前,如自後續實例可見。
換言之,舉例而言,僅在以下情況下以DC內預測模式506填充最可能內預測模式之清單528:對於相鄰區塊524及526中之每一者,將使用包含DC內預測模式506的第一集合508內之至少一個非角度內預測模式504及506中之任一者預測或使用基於區塊之內預測模式510中之任一者(其藉助於自基於區塊之內預測模式510之第二集合520至第一集合508內之內預測模式的映射用於最可能內預測模式之清單528之形成)預測的個別相鄰區塊映射至至少一個非角度間預測模式500中之任一者。
因此,恢復關於預定區塊18如何被寫碼成資料串流12之描述,若集合選擇性語法元素522指示藉由來自第一集合508之任一模式寫碼預定區塊18,則資料串流12任擇地含有MPM語法元素532,其指示待用於預定區塊18之內預測模式是否在清單528內,且若為是,則資料串流12包含在清單528中藉由沿著次序530對模式編索引而指示來自清單528之待用於預定區塊18之模式,亦即預定內預測模式的MPM清單索引534。然而,若來自集合508之模式如由MPM語法元素532所指示並不在清單528內,則資料串流12針對區塊18包含另一語法元素536,其指示來自集合508之哪一模式(亦即預定內預測模式)將用於區塊18。另一語法元素536可以藉由僅在來自集合508之彼等模式(其並不含於清單528中)之間進行區分之方式指示該模式。
換言之,舉例而言,若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一者預測預定區塊18,則設備3000經組配以自資料串流導出指示內預測模式之第一集合508中之預定內預測模式是否在最可能內預測模式之清單528內的MPM語法元素532。若MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式在最可能內預測模式之清單528內,則設備3000例如經組配以基於在預測與預定區塊100相鄰之相鄰區塊524、526時使用之內預測模式執行最可能內預測模式之清單528之形成並執行指向最可能內預測模式之清單528中之預定內預測模式之MPM清單索引534自資料串流12之導出。若來自資料串流12之MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式並不在最可能內預測模式之清單528內,則設備3000經組配以自資料串流導出指示來自內預測模式之第一集合之預定內預測模式的另一清單索引536。因此,基於MPM語法元素532,資料串流12包含MPM清單索引534或另一清單索引536以用於預測預定區塊18。
藉由移除清單528包含DC內預測模式506之情形,達成以下優點。詳言之,本申請案之諸位發明人發現,由用於寫碼/解碼應使用集合508中之內預測模式中之任一者之預定區塊18的來自集合508之DC內預測模式506 (如由語法元素522,亦即集合選擇性語法元素指示)「佔用」清單528之寶貴的清單位置將不利地影響寫碼效率,因為來自集合508之此DC內預測模式506無論如何均會與基於區塊之內預測模式510競爭。因此,由來自集合508之此DC內預測模式506「佔用」清單528之清單位置將導致出現以下情形的可能性提高:最後將用於預定區塊18之內預測模式,亦即預定內預測模式並不在清單528內,使得語法元素536,亦即另一清單索引需要在資料串流12中傳輸。
詳言之,由於語法元素522已經針對區塊18指示應使用集合508內之模式中之任一者抑或集合520中之基於區塊之模式510中之任一者預測該區塊,似乎若語法元素522指示集合508內之模式對於區塊18較佳,且因此基於區塊之模式510並不用於區塊18,則來自集合508之DC預測模式506可適合於區塊18之可能性如此之低以致於DC預測模式在清單528中之出現應限於用於相鄰區塊524及526之模式之群集,亦即上文闡明之群集之極其受限集合。
在另一情況下,亦即在集合選擇性語法元素522指示使用基於區塊之內預測模式510中之任一者預測預定區塊18的情況下,將區塊18寫碼成資料串流12及自其之解碼可以上文闡明之方式進行。為此目的,可使用編索引以便為自來自集合520 (亦即基於區塊之內預測模式之第二集合)之基於區塊之內預測模式510選定的一個內預測模式編索引或指示關於將使用該等基於區塊之內預測模式中之哪一者。另一MPM語法元素538可指示是否藉由索引540,亦即藉由另一MPM清單索引(其指示來自最可能的基於區塊之內預測模式510之清單542的待用於區塊18之基於區塊之內預測模式510,亦即藉由沿著清單次序544編索引)進行編索引,或待用於區塊18之基於區塊之內預測模式510是否由另一語法元素546,亦即由又一清單索引(其指示來自集合520之基於區塊之內預測模式510)指示,其中後一語法元素546可例如僅區分集合520內清單542內尚未含有之彼等模式510。可基於已經預測區塊524及526所使用之模式進行清單542之清單構造。若區塊524及526中之任一者由於在圖像外部或由於經間預測而不可用,則預設內預測模式,諸如來自集合508之一個內預測模式可替代地使用。對於每一區塊524及526,在已使用來自集合508而非集合520之模式進行內預測的情況下,前文描述之自集合508中之模式至來自集合520之模式的映射用於獲得用於個別區塊,亦即預定區塊18之內預測模式510,亦即預定的基於區塊之內預測模式,且基於針對區塊524及526產生之基於區塊之內預測模式,解釋清單542。
根據一實施例,若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18,則設備3000經組配以自資料串流12導出指示基於區塊之內預測模式510之第二集合520中之預定的基於區塊之內預測模式是否在最可能的基於區塊之內預測模式之清單542內的另一MPM語法元素538。若另一MPM語法元素538指示基於區塊之內預測模式510之第二集合520中之預定的基於區塊之內預測模式在最可能的基於區塊之內預測模式之清單542內,則設備3000例如經組配以基於在預測與預定區塊18相鄰之相鄰區塊524、526時使用之內預測模式形成最可能的基於區塊之內預測模式之清單542,且自資料串流12導出在最可能的基於區塊之內預測模式之清單542中指向預定的基於區塊之內預測模式的另一MPM清單索引540。若另一MPM語法元素538指示基於區塊之內預測模式之第二集合520中之預定的基於區塊之內預測模式並不在最可能的基於區塊之內預測模式之清單542內,則設備3000經組配以自資料串流12導出指示來自基於區塊之內預測模式之第二集合520之預定的基於區塊之內預測模式的又一清單索引546。因此,基於另一MPM語法元素538,資料串流12包含另一MPM清單索引540或又一清單索引546以用於預測預定區塊18。
儘管另一MPM語法元素538、另一MPM清單索引540及又一清單索引546在圖13中在資料串流12中表示為平行於MPM語法元素532、MPM清單索引534及另一清單索引536,但顯而易見,資料串流12包含另一MPM語法元素538及與另一MPM語法元素538相關聯之索引,例如另一MPM清單索引540或又一清單索引546或MPM語法元素532及與MPM語法元素532相關聯之索引,例如MPM清單索引534或另一清單索引536。資料串流12包含此等語法元素及索引中之哪些例如取決於集合選擇性語法元素522。
寫入為偽程式碼之資料串流12之語法元素部分的實例可如下,其中參考符號指示關於哪些語法元素對應於之前所論述之語法元素。
Figure 02_image387
Figure 02_image389
Figure 02_image391
Figure 02_image393
Figure 02_image395
Figure 02_image397
清單528之清單構造可定義如下:其中在對應區塊524或526已經使用基於區塊之內預測模式510中之任一者進行內預測的情況下,candIntraPredModeA/B指示已預測區塊524及526中之任一者所使用之內預測模式,諸如A針對區塊524且B針對區塊526;或指示集合508當中將內預測模式映射至哪一模式。INTRA_DC用於指示模式506,且角度模式500藉由INTRA_ANGULAR#指示,其中編號(#)如上文例示性地指示對角度模式進行排序,亦即以此方式使得角度方向502隨著數目增大單調遞減或單調遞增。集合508內模式當中之排序可如下表中所界定,其中INTRA_PLANAR指示模式504。
應注意,在上文實例中,索引534實際上分佈於語法元素534'及534''上:語法元素534'按次序530特定針對清單528之第一位置,根據此實例,INTRA_PLANAR模式504不可避免地定位於該位置處。語法元素534''指向清單528之後續位置中之任一者,如所描述,DC模式506僅在所描述特殊情形下包括於該位置處。
另外,在上文實例中,在語法元素522指示使用集合508內模式當中的任何模式的情況下,其他語法元素包括於資料串流12中,該等其他語法元素在某種程度上參數化集合508內之內預測模式。例如,語法元素600參數化或改變定位有參考樣本17之區域,集合508中之模式基於該區域諸如在朝向區塊18外圓周之距離方面對區塊18之內部進行內預測。另外或替代地,語法元素602參數化或改變集合508中之模式是否使用該等參考樣本17來全域地或在區塊內對區塊18之內部進行內預測,或是否按區塊18被細分成的各段或各部分進行內預測,該等段或部分依序經內預測使得針對一個部分經寫碼成資料串流12之預測殘差可用於補充新參考樣本以用於對後一部分進行內預測。受語法元素控制之後一寫碼選項僅在語法元素600具有對應於例如該等參考樣本17所處之區域鄰接於區塊18之預定狀態時可用(且對應語法元素可僅存在於資料串流中)。該等部分可藉由沿著預定方向,諸如水平地(由此導致部分與區塊18一樣高)或豎直地(由此導致部分與區塊18一樣寬)細分區塊而界定。若分割經傳信為作用中,其控制關於使用哪一分裂方向,則語法元素604可存在於資料串流中。如可看出,情況可為清單528中為INTRA_PLANAR模式保留之位置僅在藉由剛剛提及之參數化語法元素對模式進行特定參數化的情況下,諸如僅在語法元素600具有對應於例如該等參考樣本17所處之區域鄰接於區塊18之預定狀態時及/或逐部分的內預測模式如語法元素602所傳信並不在作用中時才可用。
表中所示而上文未特定提及之所有語法元素均為任擇的且在本文中未進一步論述。 - 若candIntraPredModeB等於candIntraPredModeA且candIntraPredModeA大於INTRA_DC,則如下推導出candModeList[x](其中x=0…4): candModeList[ 0 ] = candIntraPredModeA candModeList[ 1 ] = 2 + ( ( candIntraPredModeA + 61 ) % 64 ) candModeList[ 2 ] = 2 + ( ( candIntraPredModeA - 1 ) % 64 ) candModeList[ 3 ] =2 + ( ( candIntraPredModeA + 60 ) % 64 ) candModeList[ 4 ] = 2 + ( candIntraPredModeA % 64 ) - 否則,若candIntraPredModeB不等於candIntraPredModeA且candIntraPredModeA或candIntraPredModeB大於INTRA_DC,則以下適用: - 如下推導出變數minAB及maxAB: minAB = Min( candIntraPredModeA, candIntraPredModeB ) maxAB = Max( candIntraPredModeA, candIntraPredModeB ) - 若candIntraPredModeA及candIntraPredModeB均大於INTRA_DC,則如下推導出candModeList[x](其中x=0…4): candModeList[ 0 ] = candIntraPredModeA candModeList[ 1 ] = candIntraPredModeB - 若maxAB-minAB等於1,則以下適用: candModeList[ 2 ] = 2 + ( ( minAB + 61 ) % 64 ) candModeList[ 3 ] = 2 + ( ( maxAB - 1 ) % 64 ) candModeList[ 4 ] = 2 + ( ( minAB + 60 ) % 64 ) - 否則,若maxAB-minAB大於或等於62,則以下適用: candModeList[ 2 ] = 2 + ( ( minAB - 1 ) % 64 ) candModeList[ 3 ] = 2 + ( ( maxAB + 61 ) % 64 ) candModeList[ 4 ] = 2 + ( minAB % 64 ) - 否則,若maxAB-minAB等於2,則以下適用: candModeList[ 2 ] = 2 + ( ( minAB - 1 ) % 64 ) candModeList[ 3 ] = 2 + ( ( minAB + 61 ) % 64 ) candModeList[ 4 ] = 2 + ( ( maxAB - 1 ) % 64 ) - 否則,以下適用: candModeList[ 2 ] = 2 + ( ( minAB + 61 ) % 64 ) candModeList[ 3 ] = 2 + ( (  minAB - 1 ) % 64 ) (8-36) candModeList[ 4 ] = 2 + ( ( ( maxAB + 61 ) ) % 64 ) - 否則(candIntraPredModeA或candIntraPredModeB大於INTRA_DC),如下推導出candModeList[x](其中x=0…4): candModeList[ 0 ] = maxAB candModeList[ 1 ] = 2 + ( ( maxAB + 61 ) % 64 ) candModeList[ 2 ] = 2 + ( ( maxAB - 1 ) % 64 ) (8-41) candModeList[ 3 ] = 2 + ( ( maxAB + 60 ) % 64 ) candModeList[ 4 ] = 2 + ( maxAB % 64 ) - 否則,以下適用: candModeList[ 0 ] = INTRA_DC candModeList[ 1 ] = INTRA_ANGULAR50( candModeList[ 2 ] = INTRA_ANGULAR18 candModeList[ 3 ] = INTRA_ANGULAR46 candModeList[ 4 ] = INTRA_ANGULAR54
內預測模式 相關聯名稱
0 INTRA_PLANAR
1 INTRA_DC
2…66 INTRA_ANGULAR2…INTRA_ANGULAR66
在集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18的情況下,用於解碼預定區塊18之設備及/或用於編碼預定區塊18之設備可包含以下特徵中之一或多者。
根據一實施例,該設備經組配以形成樣本值向量,例如來自多個參考樣本17的如相對於圖6至圖9之實施例中之一者所描述之樣本值向量400,且自該樣本值向量導出向量514,使得該樣本值向量藉由預定可逆線性變換映射至向量514。在此情況下,向量514可被理解為另一向量。舉例而言,如相對於圖8至圖11之實施例中之一者針對另一向量402所描述而判定及/或界定向量514。
根據一實施例,該設備經組配以藉由針對樣本值向量之每一分量採用多個參考樣本中之一個參考樣本作為該樣本值向量之個別分量及/或平均化該樣本值向量之二個或多於二個分量以獲得該樣本值向量之個別分量而自多個參考樣本17形成樣本值向量。
舉例而言,多個參考樣本17沿著預定區塊18之外邊緣配置於圖像內。
舉例而言,可逆線性變換經界定使得向量514,例如另一向量之預定分量變為a,且除了該預定分量之外,向量514之其他分量中之每一者等於樣本值向量之對應分量減去a 舉例而言,值a為預定值。
根據一實施例,預定值為樣本值向量之分量的平均值(諸如算術均值或經加權平均值)、預設值、以圖像經寫碼成之資料串流傳信的值及樣本值向量之對應於預定分量的分量中之一者。
舉例而言,可逆線性變換經界定使得向量514,例如另一向量之預定分量變為a,且除了該預定分量之外,向量514之其他分量中之每一者等於樣本值向量之對應分量減去a,其中a為樣本值向量之分量之算術均值。
舉例而言,可逆線性變換經界定使得向量514,例如另一向量之預定分量變為a,且除了該預定分量之外,向量514之其他分量中之每一者等於樣本值向量之對應分量減去a,其中a為樣本值向量之對應於預定分量之分量。舉例而言,該設備經組配以包含多個可逆線性變換,其各自與向量514之一個分量相關聯;在樣本值向量之分量當中選擇預定分量;以及使用多個可逆線性變換當中與預定分量相關聯之可逆線性變換作為預定可逆線性變換。
根據一實施例,預測矩陣516中對應於向量514,例如另一向量之預定分量之一行內預測矩陣516之矩陣分量均為零。該設備經組配以藉由計算由預測矩陣516藉由去掉該行產生之經縮減預測矩陣與由向量514藉由去掉該預定分量產生之又一向量之間的矩陣向量乘積512執行乘法而計算矩陣向量乘積512。
根據一實施例,該設備經組配以在基於預測向量518預測預定區塊18之樣本時針對預測向量518之每一分量計算個別分量與a之總和。
由求和預測矩陣516中對應於向量514,例如另一向量之預定分量之一行內預測矩陣516之每一矩陣分量與一產生的矩陣(亦即,圖8中之矩陣B)乘以可逆線性變換對應於例如機器學習預測矩陣之經量化版本。
根據一實施例,該設備經組配以使用定點算術運算計算矩陣向量乘積512。
根據一實施例,該設備經組配以在不使用浮點算術運算之情況下計算矩陣向量乘積512。
根據一實施例,該設備經組配以儲存預測矩陣516之定點數表示型態。
根據一實施例,該設備經組配以使用預測參數表示預測矩陣516且藉由對向量514,例如另一向量之分量及預測參數以及自其產生之中間結果執行乘法及求和而計算矩陣向量乘積512,其中預測參數之絕對值可藉由n位元定點數表示型態來表示,其中n等於或低於14,或替代地等於或低於10,或替代地等於或低於8。此可類似地或如圖10或圖11中所描述而執行。
舉例而言,預測參數包含權重,其各自與預測矩陣516之對應矩陣分量相關聯。
舉例而言,預測參數進一步包含一或多個縮放因數,其各自與預測矩陣516之一或多個對應矩陣分量相關聯以用於縮放與預測矩陣516之該一或多個對應矩陣分量相關聯之權重;及/或一或多個偏移,其各自與預測矩陣516之一或多個對應矩陣分量相關聯以用於使與預測矩陣516之該一或多個對應矩陣分量相關聯之權重偏移。
根據一實施例,該設備經組配以在基於預測向量518預測預定區塊18之樣本時使用內插以基於預測向量518來計算預定區塊18之至少一個樣本位置,該預測向量之每一分量係與預定區塊18內之對應位置相關聯。
圖14展示用於使用內預測編碼圖像10之預定區塊18之設備6000,其經組配以傳信資料串流12中指示是否使用包含DC內預測模式506及角預測模式500之內預測模式之第一集合508中之一者來預測預定區塊18的集合選擇性語法元素522。若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一者預測預定區塊18,則設備6000經組配以基於預測與預定區塊18相鄰之相鄰區塊524、526使用之內預測模式形成最可能內預測模式之清單528;傳信資料串流12中在最可能內預測模式之清單528中指向預定內預測模式3100的MPM清單索引534;以及使用預定內預測模式3100對預定區塊18進行內預測。若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18,則設備6000經組配以藉由計算自預定區塊18之鄰域中之參考樣本17導出之向量514及與預定的基於矩陣之內預測模式3200相關聯之預定預測矩陣516之間的矩陣向量乘積512以便獲得預測向量518並基於預測向量518預測預定區塊18之樣本而傳信資料串流12中指示來自基於矩陣之內預測模式510之第二集合520之預定的基於矩陣之內預測模式3200的另一索引540。
基於預測與預定區塊18相鄰之相鄰區塊524、526使用之內預測模式形成最可能內預測模式之清單528,使得在藉由角度內預測模式500中之任一者預測相鄰區塊524、526中之至少一者的情況下,最可能內預測模式之清單不含DC內預測模式506。
舉例而言,內預測模式之第一集合508進一步包含平面內預測模式504。
根據一實施例,設備6000可包含如相對於圖12及/或圖13中之設備3000所描述之類似特徵及或功能性。同樣,設備3000可包含如相對於圖14中之設備6000所描述之類似特徵及或功能性。
若集合選擇性語法元素522指示使用內預測模式之第一集合508中之一者預測預定區塊18,則設備6000例如經組配以傳信資料串流12中指示內預測模式之第一集合508中之預定內預測模式3100是否在最可能內預測模式之清單528內的MPM語法元素532。若MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式在最可能內預測模式之清單528內,則設備6000例如經組配以基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式執行最可能內預測模式之清單528之形成並執行資料串流12中指向最可能內預測模式之清單528中之預定內預測模式3100的MPM清單索引534之傳信。若資料串流12中之MPM語法元素532指示內預測模式之第一集合508中之預定內預測模式3100並不在最可能內預測模式之清單528內,則設備6000例如經組配以傳信資料串流12中指示來自內預測模式之第一集合508之預定內預測模式3100的另一清單索引536。
若集合選擇性語法元素522指示並不使用內預測模式之第一集合508中之一者預測預定區塊18,則設備6000例如經組配以傳信資料串流12中指示基於區塊之內預測模式之第二集合520中之預定的基於區塊之內預測模式3200是否在最可能的基於區塊之內預測模式之清單542 (亦即最可能的基於區塊之內預測模式之第二清單,例如基於區塊之內預測模式之第二集合520中之最可能的基於區塊之內預測模式之清單542)內的另一MPM語法元素538。若另一MPM語法元素538指示基於區塊之內預測模式之第二集合520中之預定的基於區塊之內預測模式3200在最可能的基於區塊之內預測模式之清單542內,則設備6000例如經組配以基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式3050形成最可能的基於區塊之內預測模式之清單542並傳信資料串流12中在最可能的基於區塊之內預測模式之清單542中指向預定的基於區塊之內預測模式3200的另一MPM清單索引540。若另一MPM語法元素538指示基於區塊之內預測模式之第二集合520中之預定的基於區塊之內預測模式3200並不在最可能的基於區塊之內預測模式之清單542內,則設備6000例如經組配以傳信資料串流12中指示來自基於區塊之內預測模式之第二集合520之預定的基於區塊之內預測模式3200的又一清單索引546。
根據一實施例,設備6000經組配以執行最可能內預測模式之清單之形成,例如基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式形成內預測模式之第一集合508中之最可能內預測模式之清單528,使得僅在以下情況下以DC內預測模式506填充該清單528:對於相鄰區塊524及526中之每一者,將使用包含DC內預測模式506的第一集合508內之至少一個非角度內預測模式504及/或506中之任一者預測或使用基於區塊之內預測模式510中之任一者(其藉助於自基於區塊之內預測模式之第二集合520至第一集合508內之內預測模式的映射用於最可能內預測模式之該清單528之形成)預測的個別相鄰區塊映射至至少一個非角度內預測模式504及/或506中之任一者。
根據一實施例,設備6000經組配以執行基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式形成最可能內預測模式之清單528,使得若對於相鄰區塊524及526中之每一者,將使用包含DC內預測模式506的第一集合508內之至少一個非角度內預測模式504及/或506中之任一者預測或使用基於區塊之內預測模式510中之任一者(其藉助於自基於區塊之內預測模式之第二集合520至第一集合508內之內預測模式的映射用於最可能內預測模式之該清單528之形成)預測的個別相鄰區塊映射至至少一個非角度內預測模式504及/或506中之任一者。DC內預測模式506被定位在最可能內預測模式之清單528中之任一角度內預測模式500之前。
根據一實施例,設備6000經組配以執行基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式形成最可能內預測模式之清單528,使得以獨立於預測相鄰區塊524、526所使用之內預測模式之方式以平面內預測模式504填充該清單528。
根據一實施例,設備6000經組配以執行基於預測與預定區塊18相鄰之相鄰區塊524、526所使用之內預測模式形成最可能內預測模式之清單528,使得平面內預測模式504獨立於預測相鄰區塊524、526所使用之內預測模式定位於最可能內預測模式之該清單528中之第一位置處。
圖15展示用於使用內預測解碼圖像之預定區塊18之方法4000的方塊圖,該方法包含自資料串流導出指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者預測預定區塊的集合選擇性語法元素(4100)。若集合選擇性語法元素指示使用內預測模式之第一集合中之一者預測預定區塊(4150),則方法4000包含基於預測與預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之清單(4200);自資料串流導出在最可能內預測模式之清單中指向預定內預測模式的MPM清單索引(4300);以及使用該預定內預測模式對預定區塊進行內預測(4400)。若集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者預測預定區塊(4155),則方法4000包含藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量(4350)並基於該預測向量預測預定區塊之樣本(4450)而自資料串流導出指示來自基於矩陣之內預測模式之第二集合之預定的基於矩陣之內預測模式的另一索引(4250)。基於預測與預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之清單(4200),使得在藉由角度內預測模式中之任一者預測相鄰區塊中之至少一者的情況下,最可能內預測模式之清單不含DC內預測模式。
圖16展示用於使用內預測編碼圖像之預定區塊之方法5000的方塊圖,該方法包含傳信資料串流中指示是否使用包含DC內預測模式及角預測模式之內預測模式之第一集合中之一者預測預定區塊的集合選擇性語法元素(5100)。若該集合選擇性語法元素指示使用內預測模式之第一集合中之一者預測預定區塊(5150),則方法5000包含基於預測與預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之清單(5200);傳信資料串流中在最可能內預測模式之清單中指向預定內預測模式之MPM清單索引(5300);以及使用該預定內預測模式對預定區塊進行內預測(5400)。若該集合選擇性語法元素指示並不使用內預測模式之第一集合中之一者預測預定區塊(5155),則方法5000包含藉由計算自預定區塊之鄰域中之參考樣本導出之向量及與預定的基於矩陣之內預測模式相關聯之預定預測矩陣之間的矩陣向量乘積以便獲得預測向量(5350)並基於該預測向量預測預定區塊之樣本(5450)而傳信資料串流中指示來自基於矩陣之內預測模式之第二集合之預定的基於矩陣之內預測模式的另一索引(5250)。基於預測與預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能內預測模式之清單(5200),使得在藉由角度內預測模式中之任一者預測相鄰區塊中之至少一者的情況下,最可能內預測模式之清單不含DC內預測模式。參考文獻
[1] P. Helle et al., “Non-linear weighted intra prediction”, JVET-L0199, Macao, China, October 2018.
[2] F. Bossen, J. Boyce, K. Suehring, X. Li, V. Seregin, “JVET common test conditions and software reference configurations for SDR video”, JVET-K1010, Ljubljana, SI, July 2018. 其他實施例及實例
通常,實例可實施為具有程式指令之電腦程式產品,當電腦程式產品運行於電腦上時,程式指令操作性地用於執行該等方法中之一者。程式指令可例如儲存於機器可讀媒體上。
其他實例包含用於執行本文中所描述之方法中之一者、儲存於機器可讀載體上之電腦程式。
換言之,方法之實例因此為電腦程式,其具有用於在電腦程式於電腦上運行時執行本文中所描述之方法中之一者的程式指令。
方法之另一實例因此為資料載體媒體(或數位儲存媒體,或電腦可讀媒體),其包含、上面記錄有用於執行本文中所描述之方法中之一者的電腦程式。資料載體媒體、數位儲存媒體或記錄媒體為有形及/或非暫時性的,而非無形及暫時性的信號。
因此,方法之另一實例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號序列。該資料串流或信號序列可例如經由資料通信連接,例如經由網際網路來傳送。
另一實例包含處理構件,例如電腦或可規劃邏輯裝置,其執行本文中所描述之方法中之一者。
另一實例包含電腦,該電腦具有安裝於其上的用於執行本文中所描述之方法中之一者的電腦程式。
另一實例包含將用於執行本文中所描述之方法中之一者的電腦程式傳送(例如以電子方式或以光學方式)至接收器之設備或系統。舉例而言,接收器可為電腦、行動裝置、記憶體裝置等。設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實例中,可規劃邏輯裝置(例如,場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實例中,場可規劃閘陣列可與微處理器協作,以便執行本文中所描述之方法中之一者。通常,該等方法可由任何適當的硬體設備執行。
上述實例僅說明上文所論述之原理。應理解,本文中所描述之配置及細節之修改及變化將為顯而易見的。因此,其意欲由接下來之申請專利範圍之範疇限制,而非由藉助於本文中實例之描述及解釋所呈現的特定細節限制。
即使具有相同或等效功能性之相同或等效的一或多個元件出現於不同圖式中,以下描述中仍藉由相同或等效參考數字來表示該一或多個元件。
10:圖像 12:資料串流 14:編碼器 16:視訊 17:參考樣本 17a:參考樣本/豎直邊界行/區塊 17c:參考樣本/水平邊界列/區塊 17'a,17'b,17'c:相鄰部分 17P:邊界向量/第一向量 17M:預測矩陣 18:區塊 18a,18c:邊界 18Q:第二向量 19:ALWIP變換 20:寫碼次序 22:減法器 24:預測信號 26:預測殘差信號 28:預測殘差編碼器 28a:有損編碼級 28b:無損編碼級 30:量化器 32:變換級 34:經量化預測殘差信號 36,36':預測殘差信號重構級 38,38':反量化器 40,40':反變換器 42,42':加法器 44,44':預測器 46,46':迴路內濾波器 54:解碼器 56:熵解碼器 100:縮減 102:經縮減樣本值集合 104,118',118'':預定樣本 106,107,109:方案 108,108',112,119:樣本 118:相鄰樣本/預測值 120:群組 122:平均化 156:殘差提供器 400:樣本值向量 402,409,410,514:向量 403:可逆線性變換 404,407,512,1310:矩陣向量乘積 405,516:預定預測矩陣 406:向量/預測向量 408:偏移 412:行 414:矩陣分量 500:角度內預測模式 502:角度方向/預定方向 504:平面內預測模式 506:DC內預測模式 508:第一集合 510:基於矩陣之內預測模式 518:預測向量 520:第二集合 522:集合選擇性語法元素 524,526:相鄰區塊 528,542:清單 530:次序 532,538:MPM語法元素 534,540:MPM清單索引 536,546:清單索引/語法元素 544:清單次序 811,812,813,4100,4150,4155,4200,4250,4300,4350,4400,4450,5100,5150,5155,5200,5250,5300,5350,5400,5450:步驟 1000,3000,6000:設備 1100:機器學習預測矩陣A 1110:偏移b 1200:矩陣B 1300:整數矩陣 1400:預定值 1500:預定分量 3050:預測模式 3100:預定內預測模式 3200:基於區塊之內預測模式 4000,5000:方法
圖式未必按比例繪製,實際上重點一般放在說明本發明之原理上。在以下描述中,參考以下圖式描述本發明之各種實施例,其中: 圖1展示編碼成資料串流之實施例; 圖2展示編碼器之實施例; 圖3展示圖像之重構之實施例; 圖4展示解碼器之實施例; 圖5展示根據一實施例的用於編碼及/或解碼之區塊的預測之示意圖; 圖6展示根據一實施例的用於編碼及/或解碼之區塊的預測之矩陣運算; 圖7.1展示根據一實施例的具有經縮減樣本值向量之區塊的預測; 圖7.2展示根據一實施例的使用樣本之內插的區塊之預測; 圖7.3展示根據一實施例的具有經縮減樣本值向量之區塊的預測,其中僅平均化一些邊界樣本; 圖7.4展示根據一實施例的具有經縮減樣本值向量之區塊的預測,其中平均化四個邊界樣本之群組; 圖8展示根據一實施例的由設備執行之矩陣運算; 圖9a至圖9c展示根據一實施例的由設備執行之詳細矩陣運算; 圖10展示根據一實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算; 圖11展示根據不同實施例的由設備使用偏移及縮放參數執行之詳細矩陣運算; 圖12展示根據一實施例的用於解碼預定區塊之設備之示意圖; 圖13展示根據一實施例的關於解碼及編碼預定區塊之細節的示意圖; 圖14展示根據一實施例的用於編碼預定區塊之設備之示意圖; 圖15展示根據一實施例的用於解碼預定區塊之方法之方塊圖;且 圖16展示根據一實施例的用於編碼預定區塊之方法之方塊圖。
10:圖像
12:資料串流
17:參考樣本
17a:參考樣本/豎直邊界行/區塊
17c:參考樣本/水平邊界列/區塊
18:區塊
500:角度內預測模式
502:角度方向/預定方向
506:DC內預測模式
508:第一集合
510:基於矩陣之內預測模式
512:矩陣向量乘積
514:向量
516:預定預測矩陣
518:預測向量
520:第二集合
522:集合選擇性語法元素
524,526:相鄰區塊
528:清單
530:次序
534,540:MPM清單索引
3000:設備
3050:預測模式
3100:預定內預測模式
3200:基於區塊之內預測模式

Claims (54)

  1. 一種用於使用內預測解碼圖像之預定區塊之設備,其經組配來進行下列動作: 自資料串流導出指出是否使用包含一DC內預測模式及角預測模式之內預測模式之一第一集合中之一者來預測該預定區塊之一集合選擇性語法元素, 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之一清單, 自該資料串流導出在最可能的內預測模式之該清單中指向一預定內預測模式之一MPM清單索引, 使用該預定內預測模式對該預定區塊進行內預測, 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 藉由以下操作自該資料串流導出指出來自基於矩陣之內預測模式之一第二集合之一預定的基於矩陣之內預測模式的一另一索引: 計算自該預定區塊之一鄰域中之參考樣本導出之一向量及與該預定的基於矩陣之內預測模式相關聯之一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量,及 基於該預測向量預測該預定區塊之樣本, 其中基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單,使得在藉由該等角度內預測模式中之任一者預測該等相鄰區塊之情況下,最可能的內預測模式之該清單不含該DC內預測模式。
  2. 如請求項1之設備,其經組配來進行下列動作: 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 自該資料串流導出指出內預測模式之該第一集合中之該預定內預測模式是否在最可能的內預測模式之該清單內的一MPM語法元素, 若該MPM語法元素指出內預測模式之該第一集合之該預定內預測模式在最可能的內預測模式之該清單內,則執行 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單, 自該資料串流導出指向最可能的內預測模式之該清單中之一預定內預測模式的該MPM清單索引, 若來自該資料串流之該MPM語法元素指出內預測模式之該第一集合中之該預定內預測模式並不在最可能的內預測模式之該清單內,則 自該資料串流導出指出來自內預測模式之該第一集合之該預定內預測模式之一另一清單索引。
  3. 如請求項1或2之設備,其經組配來進行下列動作: 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 自該資料串流導出指出基於區塊之內預測模式之該第二集合中之預定的基於區塊之內預測模式是否在最可能的基於區塊之內預測模式之一清單內的一另一MPM語法元素, 若該另一MPM語法元素指出基於區塊之內預測模式之該第二集合中之該預定的基於區塊之內預測模式在最可能的基於區塊之內預測模式之一清單內,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的基於區塊之內預測模式之該清單, 自該資料串流導出在最可能的基於區塊之內預測模式之該清單中指向該預定的基於區塊之內預測模式之一另一MPM清單索引, 若該另一MPM語法元素指出基於區塊之內預測模式之該第二集合中之該預定的基於區塊之內預測模式並不在最可能的基於區塊之內預測模式之一清單內,則 自該資料串流導出指出來自基於區塊之內預測模式之該第二集合之該預定的基於區塊之內預測模式之一又一清單索引。
  4. 如請求項1至3中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 僅在以下情況下以該DC內預測模式填充該清單:對於該等相鄰區塊中之每一者,將使用包含該DC內預測模式的該第一集合內之至少一個非角度內預測模式中之任一者預測、或使用基於區塊之內預測模式中之任一者(其藉助於自基於區塊之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於最可能內預測模式之該清單之該形成)預測的該個別相鄰區塊映射至該至少一個非角度內預測模式中之任一者。
  5. 如請求項1至4中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能內預測模式之該清單之該形成,使得若對於該等相鄰區塊中之每一者,將使用包含該DC內預測模式的該第一集合內之至少一個非角度內預測模式中之任一者預測、或使用基於區塊之內預測模式中之任一者(其藉助於自基於區塊之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於最可能內預測模式之該清單之該形成)預測的該個別相鄰區塊映射至該至少一個非角度內預測模式中之任一者,則 該DC內預測模式被定位在最可能內預測模式之該清單中之任一角度內預測模式之前。
  6. 如請求項1至5中任一項之設備,其中內預測模式之該第一集合進一步包含一平面內預測模式。
  7. 如請求項1至6中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 以獨立於預測該等相鄰區塊所使用之該等內預測模式之一方式以該平面內預測模式填充該清單。
  8. 如請求項7之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 獨立於預測該等相鄰區塊所使用之該等內預測模式將該平面內預測模式定位於最可能的內預測模式之該清單中之一第一位置處。
  9. 如請求項1至8中任一項之設備,其經組配來進行下列動作: 自多個參考樣本形成一樣本值向量, 自該樣本值向量導出該向量,使得藉由一預定可逆線性變換將該樣本值向量映射至該向量。
  10. 如請求項9之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為一預定值。
  11. 如請求項10之設備,其中該預定值為以下項目中之一者: 該樣本值向量之分量之一平均值,諸如一算術均值或加權平均值, 一預設值, 以該圖像經寫碼成之一資料串流傳信之一值,以及 對應於該預定分量的該樣本值向量之一分量。
  12. 如請求項9之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為該樣本值向量之分量之一算術均值。
  13. 如請求項9之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為對應於該預定分量的該樣本值向量之一分量, 其中該設備經組配來進行下列動作: 包含多個可逆線性變換,其各自與該另一向量之一個分量相關聯, 在該樣本值向量之該等分量中選出該預定分量,及 使用來自該多個可逆線性變換之與該預定分量相關聯之該可逆線性變換作為該預定可逆線性變換。
  14. 如請求項10至13中任一項之設備,其中該預測矩陣中對應於該另一向量之該預定分量之一行內該預測矩陣之矩陣分量均為零且該設備經組配來進行下列動作: 藉由計算由該預測矩陣藉由去掉該行產生之一經縮減預測矩陣與由該另一向量藉由去掉該預定分量產生之一又一向量之間的一矩陣向量乘積執行乘法而計算該矩陣向量乘積。
  15. 如請求項10至14中任一項之設備,其經組配以在基於該預測向量預測該預定區塊之該等樣本時, 針對該預測向量之每一分量計算個別分量與a之一總和。
  16. 如請求項10至15中任一項之設備,其中由求和該預測矩陣中對應於該另一向量之該預定分量之一行內該預測矩陣之每一矩陣分量與一產生之一矩陣[亦即矩陣B]乘以該可逆線性變換對應於一機器學習預測矩陣之一經量化版本。
  17. 如請求項9至16中任一項之設備,其經組配來進行下列動作: 藉由針對該樣本值向量之每一分量進行以下操作而自該多個參考樣本形成該樣本值向量: 採用該多個參考樣本中之一個參考樣本作為該樣本值向量之該個別分量,及/或 對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之該個別分量。
  18. 如請求項1至17中任一項之設備,其中該多個參考樣本在該圖像內沿著該預定區塊之一外邊緣配置。
  19. 如請求項1至18中任一項之設備,其經組配以使用定點算術運算計算該矩陣向量乘積。
  20. 如請求項1至19中任一項之設備,其經組配以在不進行浮點算術運算的情況下計算該矩陣向量乘積。
  21. 如請求項1至20中任一項之設備,其經組配以儲存該預測矩陣之一定點數表示型態。
  22. 如請求項10至21中任一項之設備,其經組配以使用預測參數表示該預測矩陣,及藉由對該另一向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積,其中該等預測參數之絕對值可由一n位元定點數表示型態來表示,其中n等於或低於14,或替代地等於或低於10,或替代地等於或低於8。
  23. 如請求項22之設備,其中該等預測參數包含: 權重,其各自與該預測矩陣之一對應矩陣分量相關聯。
  24. 如請求項23之設備,其中該等預測參數進一步包含: 一或多個縮放因數,其各自與該預測矩陣之一或多個對應矩陣分量相關聯以用於縮放與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重,及/或 一或多個偏移,其各自與該預測矩陣之一或多個對應矩陣分量相關聯以用於使與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重偏移。
  25. 如請求項1至24中任一項之設備,其經組配以在基於該預測向量預測該預定區塊之該等樣本時, 使用內插以基於該預測向量計算該預定區塊之至少一個樣本位置,該預測向量之每一分量係與該預定區塊內之一對應位置相關聯。
  26. 一種用於使用內預測編碼圖像之預定區塊之設備,其經組配來進行下列動作: 傳信一資料串流中指出是否使用包含一DC內預測模式及角預測模式之內預測模式之一第一集合中之一者來預測該預定區塊之一集合選擇性語法元素, 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之一清單, 傳信該資料串流中在最可能的內預測模式之該清單中指向一預定內預測模式之一MPM清單索引, 使用該預定內預測模式對該預定區塊進行內預測, 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 藉由以下操作傳信該資料串流中指出來自基於矩陣之內預測模式之一第二集合之一預定的基於矩陣之內預測模式的一另一索引: 計算自該預定區塊之一鄰域中之參考樣本導出之一向量及與該預定的基於矩陣之內預測模式相關聯之一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量,及 基於該預測向量預測該預定區塊之樣本, 其中基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單,使得在藉由該等角度內預測模式中之任一者預測該等相鄰區塊之情況下,最可能的內預測模式之該清單不含該DC內預測模式。
  27. 如請求項26之設備,其經組配來進行下列動作: 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 傳信該資料串流中指出內預測模式之該第一集合中之該預定內預測模式是否在最可能的內預測模式之該清單內的一MPM語法元素, 若該MPM語法元素指出內預測模式之該第一集合中之該預定內預測模式在最可能的內預測模式之該清單內,則執行 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單, 傳信該資料串流中指向最可能的內預測模式之該清單中之一預定內預測模式的該MPM清單索引, 若該資料串流中之該MPM語法元素指出內預測模式之該第一集合中之該預定內預測模式並不在最可能的內預測模式之該清單內,則 傳信該資料串流中指出來自內預測模式之該第一集合之該預定內預測模式之一另一清單索引。
  28. 如請求項26或27之設備,其經組配來進行下列動作: 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 傳信該資料串流中指出基於區塊之內預測模式之該第二集合中之預定的基於區塊之內預測模式是否在最可能的基於區塊之內預測模式之一清單內的一另一MPM語法元素, 若該另一MPM語法元素指出基於區塊之內預測模式之該第二集合中之該預定的基於區塊之內預測模式在最可能的基於區塊之內預測模式之該清單內,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的基於區塊之內預測模式之該清單, 傳信該資料串流中在最可能的基於區塊之內預測模式之該清單中指向該預定的基於區塊之內預測模式之一另一MPM清單索引, 若該另一MPM語法元素指出基於區塊之內預測模式之該第二集合中之該預定的基於區塊之內預測模式並不在最可能的基於區塊之內預測模式之該清單內,則 傳信該資料串流中指出來自基於區塊之內預測模式之該第二集合之該預定的基於區塊之內預測模式的一又一清單索引。
  29. 如請求項26至28中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 僅在以下情況下以該DC內預測模式填充該清單:對於該等相鄰區塊中之每一者,將使用包含該DC內預測模式的該第一集合內之至少一個非角度內預測模式中之任一者預測、或使用基於區塊之內預測模式中之任一者(其藉助於自基於區塊之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於最可能內預測模式之該清單之該形成)預測的該個別相鄰區塊映射至該至少一個非角度內預測模式中之任一者。
  30. 如請求項26至29中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能內預測模式之該清單之該形成,使得若對於該等相鄰區塊中之每一者,將使用包含該DC內預測模式的該第一集合內之至少一個非角度內預測模式中之任一者預測、或使用基於區塊之內預測模式中之任一者(其藉助於自基於區塊之內預測模式之該第二集合至該第一集合內之該等內預測模式之一映射用於最可能內預測模式之該清單之該形成)預測的該個別相鄰區塊映射至該至少一個非角度內預測模式中之任一者,則 該DC內預測模式被定位在最可能內預測模式之該清單中之任一角度內預測模式之前。
  31. 如請求項26至30中任一項之設備,其中內預測模式之該第一集合進一步包含一平面內預測模式。
  32. 如請求項26至31中任一項之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 以獨立於預測該等相鄰區塊所使用之該等內預測模式之一方式以該平面內預測模式填充該清單。
  33. 如請求項32之設備,其經組配以執行基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式的最可能的內預測模式之該清單之該形成,使得 獨立於預測該等相鄰區塊所使用之該等內預測模式將該平面內預測模式定位於最可能的內預測模式之該清單中之一第一位置處。
  34. 如請求項26至33中任一項之設備,其經組配來進行下列動作: 自多個參考樣本形成一樣本值向量, 自該樣本值向量導出該向量,使得藉由一預定可逆線性變換將該樣本值向量映射至該向量。
  35. 如請求項34之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為一預定值。
  36. 如請求項35之設備,其中該預定值為以下項目中之一者: 該樣本值向量之分量之一平均值,諸如一算術均值或加權平均值, 一預設值, 以該圖像經寫碼成之一資料串流傳信之一值,以及 對應於該預定分量的該樣本值向量之一分量。
  37. 如請求項34之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為該樣本值向量之分量之一算術均值。
  38. 如請求項34之設備,其中該可逆線性變換經界定使得 該另一向量之一預定分量變為a,且 除了該預定分量之外,該另一向量之其他分量中之每一者等於該樣本值向量之一對應分量減去a, 其中a為對應於該預定分量的該樣本值向量之一分量, 其中該設備經組配來進行下列動作: 包含多個可逆線性變換,其各自與該另一向量之一個分量相關聯, 在該樣本值向量之該等分量中選出該預定分量,及 使用來自該多個可逆線性變換之與該預定分量相關聯之該可逆線性變換作為該預定可逆線性變換。
  39. 如請求項35至38中任一項之設備,其中該預測矩陣中對應於該另一向量之該預定分量之一行內該預測矩陣之矩陣分量均為零且該設備經組配來進行下列動作: 藉由計算由該預測矩陣藉由去掉該行產生之一經縮減預測矩陣與由該另一向量藉由去掉該預定分量產生之一又一向量之間的一矩陣向量乘積執行乘法而計算該矩陣向量乘積。
  40. 如請求項35至39中任一項之設備,其經組配以在基於該預測向量預測該預定區塊之該等樣本時, 針對該預測向量之每一分量計算個別分量與a之一總和。
  41. 如請求項35至40中任一項之設備,其中由求和該預測矩陣中對應於該另一向量之該預定分量之一行內該預測矩陣之每一矩陣分量與一產生之一矩陣[亦即矩陣B]乘以該可逆線性變換對應於一機器學習預測矩陣之一經量化版本。
  42. 如請求項34至41中任一項之設備,其經組配來進行下列動作: 藉由針對該樣本值向量之每一分量進行以下操作而自該多個參考樣本形成該樣本值向量: 採用該多個參考樣本中之一個參考樣本作為該樣本值向量之該個別分量,及/或 對該樣本值向量之二個或多於二個分量進行平均化以獲得該樣本值向量之該個別分量。
  43. 如請求項26至42中任一項之設備,其中該多個參考樣本在該圖像內沿著該預定區塊之一外邊緣配置。
  44. 如請求項26至43中任一項之設備,其經組配以使用定點算術運算計算該矩陣向量乘積。
  45. 如請求項26至44中任一項之設備,其經組配以在不進行浮點算術運算的情況下計算該矩陣向量乘積。
  46. 如請求項26至45中任一項之設備,其經組配以儲存該預測矩陣之一定點數表示型態。
  47. 如請求項26至46中任一項之設備,其經組配以使用預測參數表示該預測矩陣及藉由對該另一向量之該等分量及該等預測參數以及自其產生之中間結果執行乘法及求和而計算該矩陣向量乘積,其中該等預測參數之絕對值可由一n位元定點數表示型態來表示,其中n等於或低於14,或替代地等於或低於10,或替代地等於或低於8。
  48. 如請求項47之設備,其中該等預測參數包含: 權重,其各自與該預測矩陣之一對應矩陣分量相關聯。
  49. 如請求項48之設備,其中該等預測參數進一步包含: 一或多個縮放因數,其各自與該預測矩陣之一或多個對應矩陣分量相關聯以用於縮放與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重,及/或 一或多個偏移,其各自與該預測矩陣之一或多個對應矩陣分量相關聯以用於使與該預測矩陣之該一或多個對應矩陣分量相關聯之該權重偏移。
  50. 如請求項26至49中任一項之設備,其經組配以在基於該預測向量預測該預定區塊之該等樣本時, 使用內插以基於該預測向量計算該預定區塊之至少一個樣本位置,該預測向量之每一分量係與該預定區塊內之一對應位置相關聯。
  51. 一種用於使用內預測解碼圖像之預定區塊之方法,其包含: 自該資料串流導出指出是否使用包含一DC內預測模式及角預測模式之內預測模式之一第一集合中之一者來預測該預定區塊的一集合選擇性語法元素, 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之一清單, 自該資料串流導出在最可能的內預測模式之該清單中指向一預定內預測模式之一MPM清單索引, 使用該預定內預測模式對該預定區塊進行內預測, 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 藉由以下操作自該資料串流導出指出來自基於矩陣之內預測模式之一第二集合之一預定的基於矩陣之內預測模式的一另一索引: 計算自該預定區塊之一鄰域中之參考樣本導出之一向量及與該預定的基於矩陣之內預測模式相關聯之一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量,及 基於該預測向量預測該預定區塊之樣本, 其中基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單,使得在藉由該等角度內預測模式中之任一者預測該等相鄰區塊之情況下,最可能的內預測模式之該清單不含該DC內預測模式。
  52. 一種用於使用內預測編碼圖像之預定區塊之方法,其包含: 傳信一資料串流中指出是否使用包含一DC內預測模式及角預測模式之內預測模式之一第一集合中之一者來預測該預定區塊的一集合選擇性語法元素, 若該集合選擇性語法元素指出使用內預測模式之該第一集合中之一者來預測該預定區塊,則 基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之一清單, 傳信該資料串流中在最可能的內預測模式之該清單中指向一預定內預測模式之一MPM清單索引, 使用該預定內預測模式對該預定區塊進行內預測, 若該集合選擇性語法元素指出並不使用內預測模式之該第一集合中之一者來預測該預定區塊,則 藉由以下操作傳信該資料串流中指出來自基於矩陣之內預測模式之一第二集合之一預定的基於矩陣之內預測模式的一另一索引: 計算自該預定區塊之一鄰域中之參考樣本導出之一向量及與該預定的基於矩陣之內預測模式相關聯之一預定預測矩陣之間的一矩陣向量乘積以便獲得一預測向量,及 基於該預測向量預測該預定區塊之樣本, 其中基於預測與該預定區塊相鄰之相鄰區塊所使用之內預測模式形成最可能的內預測模式之該清單,使得在藉由該等角度內預測模式中之任一者預測該等相鄰區塊之情況下,最可能的內預測模式之該清單不含該DC內預測模式。
  53. 一種具有圖像之資料串流,該圖像係使用如請求項52之方法編碼成該資料串流。
  54. 一種具有程式碼之電腦程式,該程式碼在運行於一電腦上時用以執行如請求項52至53中任一項之方法。
TW109119957A 2019-06-14 2020-06-12 使用內預測之寫碼技術 TWI727826B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19180383.2 2019-06-14
EP19180383 2019-06-14

Publications (2)

Publication Number Publication Date
TW202107893A true TW202107893A (zh) 2021-02-16
TWI727826B TWI727826B (zh) 2021-05-11

Family

ID=66912587

Family Applications (2)

Application Number Title Priority Date Filing Date
TW109119957A TWI727826B (zh) 2019-06-14 2020-06-12 使用內預測之寫碼技術
TW110112119A TWI833073B (zh) 2019-06-14 2020-06-12 使用內預測之寫碼技術

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110112119A TWI833073B (zh) 2019-06-14 2020-06-12 使用內預測之寫碼技術

Country Status (9)

Country Link
US (1) US20220103813A1 (zh)
EP (2) EP3984217B1 (zh)
JP (2) JP7455869B2 (zh)
KR (1) KR20220020339A (zh)
CN (1) CN114128269A (zh)
BR (1) BR112021025335A2 (zh)
MX (1) MX2021015462A (zh)
TW (2) TWI727826B (zh)
WO (1) WO2020249633A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262951A1 (ko) * 2019-06-24 2020-12-30 현대자동차주식회사 동영상 데이터의 인트라 예측 코딩을 위한 방법 및 장치
CN113068032B (zh) * 2019-06-25 2022-07-26 Oppo广东移动通信有限公司 图像编解码方法、编码器、解码器以及存储介质
SG11202102925XA (en) 2019-07-10 2021-04-29 Guangdong Oppo Mobile Telecommunications Corp Ltd Image component prediction method, encoder, decoder, and storage medium
KR20220061908A (ko) 2019-09-24 2022-05-13 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 예측값의 확정 방법, 인코더, 디코더 및 컴퓨터 저장 매체

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9654785B2 (en) * 2011-06-09 2017-05-16 Qualcomm Incorporated Enhanced intra-prediction mode signaling for video coding using neighboring mode
US9866859B2 (en) * 2011-06-14 2018-01-09 Texas Instruments Incorporated Inter-prediction candidate index coding independent of inter-prediction candidate list construction in video coding
US20140064359A1 (en) * 2012-08-31 2014-03-06 Qualcomm Incorporated Intra prediction most probable mode order improvement for scalable video coding
EP3442232A4 (en) * 2016-04-06 2019-12-04 KT Corporation METHOD AND APPARATUS FOR PROCESSING VIDEO SIGNAL
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
US20190089952A1 (en) * 2017-09-19 2019-03-21 Futurewei Technologies, Inc. Bidirectional Weighted Intra Prediction
US11509891B2 (en) * 2018-11-04 2022-11-22 Lg Electronics Inc. Intra prediction method and apparatus in image coding system
WO2020171660A1 (ko) * 2019-02-21 2020-08-27 엘지전자 주식회사 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
US11902572B2 (en) * 2019-02-26 2024-02-13 Lg Electronics Inc. Intra prediction-based image coding method and apparatus using unified MPM list
JP7362786B2 (ja) * 2019-06-13 2023-10-17 エルジー エレクトロニクス インコーポレイティド 単純化されたmpmリスト生成方法を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Also Published As

Publication number Publication date
MX2021015462A (es) 2022-03-11
TWI727826B (zh) 2021-05-11
CN114128269A (zh) 2022-03-01
WO2020249633A1 (en) 2020-12-17
EP3984217B1 (en) 2023-12-27
TWI833073B (zh) 2024-02-21
JP7455869B2 (ja) 2024-03-26
KR20220020339A (ko) 2022-02-18
JP2024069438A (ja) 2024-05-21
US20220103813A1 (en) 2022-03-31
TW202143730A (zh) 2021-11-16
JP2022536181A (ja) 2022-08-12
EP3984217A1 (en) 2022-04-20
EP4376407A1 (en) 2024-05-29
BR112021025335A2 (pt) 2022-02-01

Similar Documents

Publication Publication Date Title
TWI815272B (zh) 使用具有鄰近取樣縮減的線性或仿射變換的內預測
TWI816439B (zh) 以區塊為基礎之預測技術
TWI727826B (zh) 使用內預測之寫碼技術
TW202106003A (zh) 使用基於矩陣之內預測及二次轉換之寫碼技術
CN117692637A (zh) 图像编码/解码方法、介质和传送比特流的方法
CN111602400B (zh) 用于色度分量的帧内预测编码/解码方法和装置
CN112106356A (zh) 图像编码/解码方法和装置
TW202139704A (zh) 在4:4:4色度格式及單一樹狀結構情況下針對所有通道之基於矩陣的內部預測技術
WO2022191947A1 (en) State based dependent quantization and residual coding in video coding