TWI758693B - 高效率基於分區的框內編碼概念之實現 - Google Patents

高效率基於分區的框內編碼概念之實現 Download PDF

Info

Publication number
TWI758693B
TWI758693B TW109108248A TW109108248A TWI758693B TW I758693 B TWI758693 B TW I758693B TW 109108248 A TW109108248 A TW 109108248A TW 109108248 A TW109108248 A TW 109108248A TW I758693 B TWI758693 B TW I758693B
Authority
TW
Taiwan
Prior art keywords
transform
partition
predetermined
partitions
block
Prior art date
Application number
TW109108248A
Other languages
English (en)
Other versions
TW202042555A (zh
Inventor
聖地亞哥 德盧森赫爾南德斯
班傑明 布魯斯
法恩Ｈｔ 尼古彥
瓦萊里 喬治
希克 史瓦茲
迪特利 馬皮
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202042555A publication Critical patent/TW202042555A/zh
Application granted granted Critical
Publication of TWI758693B publication Critical patent/TWI758693B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一種將來自資料流的圖片進行基於區塊解碼的解碼器。解碼器配置為解碼來自資料流的圖片的預定區塊的框內編碼模式。解碼器配置為解碼來自資料流的圖片的預定區塊的分區維度旗標，並且根據分區維度旗標設定分區維度為水平或垂直以及解碼器配置為沿著預定維度將預定區塊劃分為變換分區，變換分區與垂直於預定維度的預定區塊一樣寬。此外解碼器配置為針對每個變換分區，解碼來自資料流的預測殘差的變換；取決於框內編碼模式的一個方式根據與預定區塊相鄰的一個或多個已經重建的取樣對預定區塊進行內預測以獲得預定區塊的預測器；以及通過使用針對各個變換分區所解碼的預測殘差的變換來校正(122)每個變換分區內的預測器以重建預定區塊。

Description

高效率基於分區的框內編碼概念之實現
本申請涉及用於例如混合視訊編解碼器的基於區塊的編解碼器中的框內編碼概念。
給定某個區塊，按照某些模式，即33個角模式以及DC與平面模式[1]，通過推斷相鄰區塊的解碼邊界取樣在HEVC中執行內預測。然後，用信號發送最小化速率失真成本的內預測模式到解碼器。儘管已知的編解碼器支持許多內預測模式(IPM)，但是由此達到的內預測仍然是去找出通往更高編碼效率的更好內預測器的發展課題。這不僅與HEVC有關，而且與使用內預測的其他基於區塊的編解碼器有關。由於更精確的預測器减少預測殘差，找到合適於有效地對區塊的內部進行編碼的一組內預測模式需要就信號消耗(signaling overhead)方面與通過這些內預測模式所獲得的預測器的最終品質方面考慮用信號發送內預測模式的消耗，從而減少與編碼預測殘差相關的信號消耗。為了使得與內預測模式相關的信號消耗保持較低，內預測區塊應該較大，亦即，用信號發送內預測模式的粒度應保持較粗，但另一方面，對於與這區塊相鄰的已解碼/編碼的取樣之間，亦即參考取樣，由於內預測區塊內部的取樣的較高平均取樣距離，亦即待預測的取樣，所以較大區塊的空間預測是低精確度的。通過允許變換殘差區塊繼承其對應編碼單元的內預測模式，HEVC稍微減輕此catch-22，內預測模式關係到變換殘差區塊形成葉區塊，通過多樹細分(subdivision)將該編碼單元細分成該葉區塊。然而，這仍然需要信號消耗，信號消耗用於將各個框內編碼的編碼單元進行再劃分成變換區塊的信號從編碼器發送到解碼器。
在新開發的通用視訊編碼(VVC)標準中，通過內子分區(ISP)編碼模式發表一種新開發的框內編碼概念，但是在此，需要實現效率改良。
因此，有利的是在可比較的編碼效率下在手邊具有進一步提高框內編碼的實現效率的概念。
因此，本發明的目的是提供更有效率的框內編碼的概念。
通過本申請的獨立請求項的主題標的完成此目的。
本發明的有利層面是附屬請求項的主題。
根據本發明的第一層面，本申請的發明人意識到，當結合框內編碼使用再劃分時遇到的一個問題是，每個塊的子分區的數量，預測是各自地完成的，例如應考慮到產生的子分區尺寸、想要的每個周期16個取樣的最小產量，及/或每個編碼週期的編碼發展的最小寬度，例如，每次預測至少4個取樣寬度發展來進行限制。這些想法導致解釋框內編碼的(預定的)區塊的旗標控制的內預測模式/決策的主意，就預測殘差變換而言其導致此預定塊的劃分，而就內預測而言，再劃分，亦即，是否以整體方式(一次全部)將預定塊進行內預測，或者是否將變換分區以預測殘差的中間使用用於依序的以及逐分區的內預測，以及使用將該下一子分區進行內預測的同樣方法校正剛剛內預測的子分區，或者是否可以根據需要自由實現這些預測子分區的變換分區的分組，例如渲染具有此目的相關於區塊尺寸的後者選擇，以避免內預測導致每次內預測的過少取樣或過少內預測寬度發展。注意，可以在變換分區之間獨立地進行變換分區的編碼與解碼，即，可以並行地進行編碼/解碼，從而不會引起每個週期的最小取樣或每個週期的寬度發展問題。這使得能夠將內預測區塊劃分為具有例如少於16個取樣的分區，因為可以在同一周期內將一個以上的分區進行內預測與重建。有利的是，如果在同一周期中編碼或解碼所有子分區，一起包含至少16個取樣。再次，根據本文描述的變型，編碼支持許多區塊尺寸，並且取決於預定內預測區塊的尺寸及/或取決於其寬度及/或高度，解碼器與編碼器根據預測造成的以下選項之一設定劃分：
1)區塊總體地內部預測，亦即整體(一次)或整體(換句話說，例如，一次地預測整個預定區塊，或者換句話說，基於相鄰取樣預測預定區塊內的所有取樣，該相鄰取樣排他地位於預定區塊之外，並且獨立處理預定區塊的變換分區，(即，在每個變換分區內按區域執行變換)，及/或 2)以變換分區為單位的順序內預測，​​然後，序列內預測還充當預測子分區(換句話說，例如，預測變換分區、將那變換分區的預測殘差進行編碼/解碼，其中在那變換分區內獲得重建取樣，然後使用為前一個變換分區獲得的重建取樣，在預定區塊中預測下一個變換分區、將下一個變換分區的預測殘差進行編碼/解碼等)，及/或 3)以變換分區的分組為單位的順序內預測(每個變換分區完全屬於一個分區群組)(換句話說，例如，基於排他地位於預測子分區之外的相鄰取樣預測一組變換分區，即一個預測子分區，對那個預測子分區的預測殘差進行編碼/解碼，並以預測子分區(在每個變換分區內按區域執行變換)內的變換分區為單位獲取那預測子分區內的重建取樣，然後使用重建取樣，在預定區塊中預測下一組變換分區，即下一個預測子分區，重建取樣包括先前一個預測子分區中獲得的但不包括位於下一個預測子分區的取樣、以轉換分區等為單位針對下一個預測子分區將預測殘差進行編碼/解碼)。
因此，根據本申請的第一層面，一種解碼器，用於將來自資料流的圖片進行基於區塊的解碼，解碼器配置為將來自資料流的圖片的預定區塊的框內編碼模式進行解碼。解碼器配置為將來自資料流的圖片的預定區塊的分區維度旗標，並且根據分區維度旗標將分區維度設定為水平或垂直。換句話說，分區維度旗標指示分區維度是水平還是垂直。解碼器配置為沿著預定維度(即，沿著分區維度)將預定塊劃分為變換分區，變換分區與垂直於預定維度的預定區塊一樣寬。如果分區尺寸是垂直的，則變換分區可以與垂直地堆疊的水平區塊相關聯，如果分區尺寸是水平的，則變換分區可以與水平並排設置的垂直區塊相關聯。對於每個變換分區，解碼器配置為將來自資料流的預測殘差的變換進行解碼。此外，解碼器配置為取决於框內編碼模式的方式根據與預定區塊相鄰的一個或多個已經重建的取樣來將預定區塊進行內預測，以獲得預定區塊的預測器並且通過使用各自變換分區所解碼的預測殘差的變換來校正每個變換分區內的預定區塊以重建預定區塊。
根據第一種選項，解碼器配置為依序地針對在另一個之後的一個變換分區將預測器進行內預測，並且通過使用各個變換分區所解碼的預測殘差的變換來校正每個變換分區內的預測器以重建變換分區。
根據第二替代選項，解碼器配置為針對每個變換分區將預測器進行內預測，並且針對每個變換分區將來自資料流的預測殘差的變換進行解碼。然後，解碼器配置為通過使用各個變換分區所解碼的預測殘差的變換來校正預測器以重建預定區塊。因此，首先將所有預測預進行內預測，並將預測殘差的所有變換進行解碼，然後通過使用各個變換分區所解碼的預測殘差的變換來校正每個變換分區內的預測器以重建所有變換分區。因此，例如，一個步驟校正所有預測器。
相反地，根據第一種選項，一個變換分區在另一個之後被重建。換句話說，根據第一種選項，對於當前的變換分區，對預測器進行內預測與校正，然後，對於後續的變換分區，將新的預測器進行內預測與校正。
根據第三替代選項，解碼器配置為在一個步驟中對整個預定區塊進行內預測以獲得預測信號(亦即，預測器)並且將該預測信號區分為例如預定區塊的變換分區的預測器。根據一個實施例，每個預測器與不同的變換分區相關聯。例如變換分區通過解碼器獨立地處理。因此，例如，解碼器配置為針對每個變換分區對來自資料流的預測殘差的變換進行解碼，並且通過使用針對各個變換分區所解碼的預測殘差的變換來校正預測值以重建預定區塊。可替代地，這不是一次地針對整個區塊執行，而是針對可以區分成多個變換分區的預定區塊的子分區。在這種情況下，例如，解碼器配置為在一個步驟中對預定區塊的子分區進行內預測，以獲得預測信號(亦即，預測器)並且將預測信號區分為例如預測區塊的子分區的變換分區的預測器。
根據實施例，解碼器配置為取決於區塊尺寸將預定塊區分為多個子分區，其中建立最小預測寬度為4以降低硬體實現複雜度。對於解碼器執行的不同劃分，本發明不限於以下範例。顯然，通過解碼器也可以實現其他子分區及/或變換分區。
4×4 區塊(範例1) 水平分割: 一個 4×4 PU (預測單元)以及4個獨立4×1 TUs (變換單元)。 垂直分割:一個4×4 PU 以及4個獨立1×4 Tus。 樣預測第二PU。
換句話說，一次地預測整個4x4塊，然後區分為4個待獨立地處理的變換分區。
8×4 區塊 (範例2) 水平分割: 兩個8×2 PUs 以及四個8×1 Tus。使用第二TU的重建取樣預測第二PU。 垂直分割: 兩個 4×4 Pus以及四個2×4 Tus。使用第二TU的重建取樣預測第二PU。
換句話說，將8×4塊分為兩個子分區(即，PU)，並且將每個子分區分為2個待獨立地處理的變換分區。
4×8 區塊 (範例 3) 水平分割: 兩個4×4 PUs以及四個4×2 Tus。使用第二TU的重建取樣預測第二PU。 垂直分割: 一個4×8 Pus以及四個獨立的1×8 Tus。
換句話說，在水平分割處，將4x8區塊分為兩個子分區(即PU)，並且每個子分區分為2個待獨立地處理的變換分區，在垂直分割處，將整個4x8區塊一次地預測，然後分為4個待獨立地處理的變換分區。
4×8區塊(範例3’；範例的另一選替方案) 水平分割(就預測與變換殘差變碼/解碼方面相較於子分區的處理沒有變更):使用目前形成兩個4×4 Tus的兩個4×4 Pus。使用第一TU的重建取樣預測第二PU。 垂直分割(變更的): 一個4×8 Pus以及兩個獨立的2×8 Tus。
換句話說，在水平分割處，將4x8區塊分為兩個子分區(即PU)，每個子分區最終都分成1個變換分區，以及在垂直分割處，一次地預測整個4x8區塊然後分為2個獨立處理的變換分區。
4xM區塊(範例4) 一次地預測整個4xM區塊然後分為4個待獨立地處理的1xM變換分區。 4xM區塊(範例4’；具有M>8) 水平分割(就預測與變換殘差變碼/解碼方面相較於子分區的處理沒有變更): 在4x(M/4)的4個PUs中預測4xM區塊，每個PU同時是四個變換分區之一。 垂直分割:一次地預測整個4xM區塊然後分為4個待獨立地處理的1xM變換分區。 8xN 區塊(範例5) 區塊分為兩個4xN子分區，這些子分區可以進一步分為4個變換分區。 8xN 區塊(範例5’；具有N>4) 水平分割(就預測與變換殘差變碼/解碼方面相較於子分區的處理沒有變更): 8xN區塊分成四個8x(N/4)子分區(由於預測與變換殘差變碼/解碼。 垂直分裂: 8xN區塊分成兩個4xN子分區(由於預測)，這些子分區可以進一步劃分為2個 2xN變換分區。
上面概述的範例關於不同區塊尺寸並且根據對應實施例(亦即，分別解碼器與編碼器)可以個別地，一起地應用於編解碼器或者可能應用它們中的兩個或更多個的組合。可以看出，根據一個實施例，對於至少一個預定區塊尺寸(例如，比較範例3至5)，在決策上可能有不同，該決策關於如何取決於分割方向在上述選項1至3之間選擇(在1到3的兩個之間)：雖然為水平分割選擇一個選項，例如選項2，其中每個TU也是一個PU，並且PUs的數量與TUs的數量相同，因此，同樣為垂直分割選擇不同的選項，例如選項1，其中整個塊都充當PU，但分為多個Tus，並且因此，PUs的數量與TUs的數量不同，或者選項3，其中預定區塊分為PUs，每個PU進一步分為TUs，並且PUs的數量與TUs的數量因此不同。附加地或可替代地，對於另一區塊尺寸(比較範例2)，此決策可以最終成為與分割方向無關的相同選項。在分割方向上剛剛提到的選項之間的選擇依附性可能因此出現，除了已經提到的區塊尺寸方向，但是可能自然地沒有後者的情況下應用。
根據本發明的一個實施例關於一種將圖片進行基於區塊的編碼成為資料流的編碼器，編碼器配置為將圖片的預定區塊的框內編碼模式編碼成資料流。編碼器配置為將圖片的預定區塊的分區維度旗標編碼成資料流，分區維度旗標用信號發送待設定為水平或垂直的分區維度。換句話說，分區維度旗標指示分區維度是水平還是垂直。編碼器配置為沿著預定維度(即，沿著分區維度)將預定塊劃分為多個變換分區，該變換分區與垂直於預定維度的預定區塊一樣寬。如果分區尺寸是垂直的，則變換分區可以與垂直堆疊的水平區塊相關聯，如果分區尺寸是水平的，則變換分區可以與水平並排設置的垂直區塊相關聯。此外，編碼器配置為以取決於框內編碼模式的方式根據與預定塊相鄰的一個或多個已經重建的取樣將預定區塊進行內預測，以獲得預定區塊的預測器。對於每個變換分區，編碼器配置為將預測殘差的變換編碼成資料流，使得通過使用各個變換分區所編碼的預測殘差的變換來校正每個變換分區內的預測值預定區塊是可重建的。
如上所述的編碼器以及由在此描述的任何編碼器與解碼器執行的方法以及通過在此描述的任何編碼器執行的方法所產生的資料流基於與上述解碼器相同的考慮。順便說一下，該方法可以具有完整特徵與功能，關於解碼器及/或編碼器也描述這些特徵與功能。
附圖的以下描述始於對於一視訊的多個編碼圖片的一基於區塊的預測的編解碼器的編碼器與解碼器的描述的呈現，以形成一編碼框架的範例，一內預測編解碼器的實施例可以建立在該編碼框架中。關聯於圖1至圖3描述該先前編碼器與解碼器。以下，呈現該ISP概念的變型的描述以及關於如何將這些概念分別構建到圖1與圖2的該編碼器與該解碼器中的描述，儘管隨後的圖4描述的概念及以下可能也用於形成多個編碼器及解碼器，該多個編碼器及解碼器不是根據構成圖1與圖2的編碼器與解碼器的編碼框架運作的。稍後，利用ISP描述的多個實施例在實現效率方面是改進的。另外，描述了利用基於分區的框內編碼的變型的實施例。
圖1顯示了用於示範性地使用基於變換的殘差編碼來將一圖片12預測地編碼為資料流14的設備。使用圖2的旗標10指示該設備或編碼器。圖2顯示一對應的解碼器20，亦即，配置為也使用基於變換的殘差解碼將從來自資料流14中的該圖片12’進行預測地解碼的一設備20，其中就該預測殘差信的一量化所引入的編碼損失方面，撇號用於指示解碼器20所重建的該圖片12’偏移來自設備10原本編碼的圖片12。圖1與圖2範例性地使用基於變換的預測殘差編碼，儘管本申請的實施例不限於這種預測殘差編碼。關於圖1與圖2描述的其他細節也是如此，這將在下文中概述。
編碼器10配置為使得該預測殘差信號進行空間到頻譜變換，並且將由此獲得的該預測殘差信號編碼成資料流14。類似地，該解碼器20配置為從該資料流解碼該預測殘差信號，並且對由此獲得的該預測殘差信號進行頻譜到空間變換。
在內部，該編碼器10可以包括一預測殘差信號形成器22，該預測殘差信號形成器22產生一預測殘差24，以至於測量來自該原始信號，亦即該圖片12，的一預測信號26的一偏差。例如，該預測殘差信號形成器22可以是一減法器，該減法器從該原始信號，即圖像12，減去該預測信號。該編碼器10然後還包括一變換器28，該變換器對該預測殘差信號24進行一空間到頻譜變換以獲得一頻譜域預測殘差信號24’，然後也通過編碼器10包括的一量化器32進行量化。如此該量化的預測殘差信號24”被編碼到位元流14。為此，編碼器10可以可選擇性地包括一熵編碼器34，該熵編碼器34將轉換的且量化的該預測殘差信號編碼為資料流14。基於解碼到資料流14並且可從資料流14解碼的該預測殘差信號24”，通過編碼器10的一預測級36產生該預測殘差24。為此，如圖1所示，該預測級36可以內部地包括解一解量化器38，該解量化器38對該預測殘差信號24”進行解量化，以至於獲得除了量化損失外對應於信號24’的頻譜域預測殘差信號24”，接著是一逆變換器40，該逆變換器40使該後預測殘差信號24”’受到一逆變換，亦即頻譜對空間變換，以獲得預測殘差信號24””，除了量化損失該信號24””對應於該原始預測殘差信號24。然後，該預測級36的一組合器42組合，例如通過加法，該預測信號26與該預測殘差信號24””，以至於獲得一重建信號46，亦即該原始信號12的一重建。重建信號46可以對應於信號12’。然後，預測級36的一預測模組44通過使用，例如空間預測，即內預測及/或時間預測，即畫面間預測，基於信號46產生該預測信號26。
同樣，解碼器20可以在內部由與預測級36對應的組件組成，並且以與預測級36對應的方式相互連接。特別地，解碼器20的熵解碼器50可以對來自該的資料流的該量化譜域預測殘差信號24”進行熵解碼，以上述關於預測級36的該模組的方法互連及協作的解量化器52、逆變換器54、組合器56及預測模組58在該解碼器20上，解碼器20基於預測殘差信號24”恢復該重建的信號，使得如圖2所示，組合器56的該輸出産生該重建的信號，亦即圖像12’。
儘管上面沒有具體描述，但是很容易清楚，該編碼器10可以根據一些最佳化方案，例如最佳化某些速率與失真相關的準則的方法，亦即編碼成本，來設定一些編碼參數，編碼參數包括例如預測模式、運動參數等。例如，編碼器10與解碼器20以及該對應的模組44、58分別可以支持不同的預測模式，如框內編碼模式與畫面間編碼模式。編碼器與解碼器在這些預測模式類型之間切換的該粒度可以分別對應於將圖片12與12’細分為編碼區段或編碼區塊。例如，以這些編碼段為單位，可以將該圖片細分為框內編碼的區塊及畫面間編碼的區塊。框內編碼區塊是基於該各自區塊的一空間的、已經編碼/解碼的鄰域來預測的，這將在下面更詳細地概述。可以存在幾種框內編碼模式，並且根據框內編碼模式該各自區段是沿著一某個方向通過推斷該鄰域的該取樣值填充該各自框內編碼區段，針對一各自的框內編碼區段選擇幾種框內編碼模式，該框內編碼區段包括方向的或角度的框內編碼模式。框內編碼模式還可以例如包括一個或多個其他模式，例如一DC編碼模式，根據該模式該各自框內編碼區塊的該預測分派一DC值給該各自框內編碼區段內的所有取樣，及/或一平面框內編碼模式，根據該編碼模式該各自區塊的該預測是接近或確定是多個取樣值的一空間分布，多個取樣值的該空間分布是基於該鄰域取樣通過該各自框內編碼區塊的該取樣位置上的一二維綫性函數所描述的，具有該二維線性函數定義的該平面的驅動傾斜與偏移。與此相比，可以例如在時間上地預測畫面間編碼區塊。為了獲得用於該各個畫面間編碼區塊的該預測信號，對於畫面間編碼的區塊，可以在該資料流中用信號發送運動向量，該運動向量指示圖像12所屬的該視訊的一先前編碼的圖片的該部分的該空間位移，在該視訊中對該先前編碼/解碼的圖片進行取樣。這意味著，除了資料流14所包括的該殘差信號編碼，例如代表該量化的頻譜域預測殘差信號24’’的該熵編碼的變換係數水平，資料流14可能已經將用於分派該編碼模式給該各種區塊的編碼模式參數、該區塊的一些的預測參數編碼在其中 ，例如用於畫面間編碼區段的運動參數以及其他參數，例如控制圖片12與12’的該細分及將該細分分別傳送到該區段的參數。該解碼器20使用這些參數以與該編碼器相同的方式細分該圖片，分派同樣的預測模式給該區段，並且執行相同的預測以產生相同的預測信號。
圖3說明一方面該重建信號，亦即重建圖片12’與另一方面在該資料流中用信號通知的該預測殘差信號24””與該預測信號26的組合之間的關係。如上所述，該組合可以是加法。在圖3中說明的該預測信號26作為該圖像區域轉為框內編碼區塊的一細分，該框內編碼區塊使用影像示意性地指示，並且畫面間編碼區塊使用非影線示意性地指示。該細分可以是任何細分，例如將該圖片區域規則地細分成區塊的列與行或區塊，或者將圖片12多樹細分成各種尺寸的葉塊，例如一四叉樹細分等，其中在圖3中說明它們的混合，其中，該圖像區域首先被細分為樹根塊的列與行，然後根據遞迴多樹細分進一步細分。再次，資料流14可以具有針對框內編碼區塊80被編碼到其中的一框內編碼模式，其將幾種支持的框內編碼模式之一分派給該各個框內編碼區塊80。下面描述更多細節。對於畫面間編碼區塊82，該資料流14可以具有一個或多個編碼到其中的運動參數。一般而言，畫面間編碼區塊82不限於臨時編碼。可選替地，畫面間編碼區塊82可以是從該當前圖片12本身之外的先前編碼部分預測的任何區塊，例如，圖片12所屬的一視訊的先前編碼圖片，或者在編碼器與解碼器分別是可伸縮編碼器與解碼器的情況下，是另一視圖或一層次結構下層的圖片。圖3中的該預測殘差信號24””也圖解為將該圖片區域細分為區塊84。這些區塊可以被稱為變換區塊以區別該編碼區塊80與8。圖3說明編碼器10與解碼器20可以分別使用兩個不同的細分將圖片12與圖片12’轉換為區塊，亦即一種細分為編碼區塊80與82，並且另一細分為區塊84。兩種細分可以相同，亦即每個編碼區塊80與82可以同時形成一變換區塊84，但是圖3舉例說明細分為變換區塊84的情況，該細分形成細分為編碼區塊80/82的擴展，使得區塊80與82的兩個區塊之間的任何邊界都覆蓋兩個區塊84之間的邊界，或者換句話說，每個區塊80/82不是與該變換區塊84之一重合，就是與一組的該變換區塊84重合。但是，該細分也可以彼此獨立地確定或選擇，使得變換區塊84可以可替換地跨區塊80/82之間的區塊邊界。就細分為變換區塊84而言，因此類似的陳述是正確的，就像關於細分為區塊80/82提出的那樣，亦即，該區塊84可能是將該圖片區域規則細分為按列與行排列的多個區塊/區塊的結果，將該圖片區域的遞迴多樹細分的結果，或其組合或任何其他種類的區塊化(blockation)。此外，注意到區塊80、82與84不限於正方形、矩形或任何其他形狀。
圖3說明該預測信號26與該預測殘差信號24””的該組合直接産生該重建信號12’。然而，應注意，根據替代實施例，可以將一個以上的預測信號26與該預測殘差信號24””相組合以得到圖片12’。
在圖3中，該變換區段84應具有以下含義。變換器28與逆變換器54以這些變換區段84為單位執行它們的變換。例如，許多編解碼器對所有變換塊84使用某種DST或DCT。某些編解碼器允許跳過該變換，使得對於某些該變換區段84，該預測殘差信號直接在空間域編碼。然而，根據以下描述的實施例，編碼器10與解碼器20以它們支持幾種變換的方式配置。例如，編碼器10與解碼器20支持的變換可以包括： DCT-II (or DCT-III), 其中DCT 代表離散餘弦變換 DST-IV, 其中DST代表離散正弦變換 DCT-IV DST-VII 身份變換(IT)
自然地，雖然變換器28將支持這些變換的所有正向變換版本，但該解碼器20或逆變換器54將支持其對應的向後或逆版本： 逆 DCT-II (or逆 DCT-III) 逆 DST-IV 逆 DCT-IV 逆 DST-VII 身份變換(IT)
後續描述提供關於編碼器10與解碼器20可以支持哪些變換的更多細節。在任何情況下，應當注意，支持的變換的集合可以僅包括例如頻譜到空間或空間到頻譜的變換。
如上面已經概述的，圖1-3已經呈現作為一個範例，其中可以實現下面進一步描述的內預測概念。就此而言，圖1與圖2的該編碼器與解碼器可以分別代表下面描述的該編碼器與解碼器的可能實現。如同將在下面更詳細地概述的，根據本申請當具有隨後解釋的內預測的實施例內建到在圖1與2的該編碼器與解碼器中時，圖1的該編碼器及圖2的該解碼器支持，至少作為一種選擇，以下面更詳細概述的方式處理內預測區塊80。因此，在下文中描述的實施例參考等於圖1的該編碼器10的一編碼器，該編碼器以下面更詳細地概述的方式處理框內編碼區塊80，並且對於圖2的解碼器同樣適用，因此根據以下面更詳細概述的方式處理框內編碼區塊一個實施例，圖2的解碼器表示一解碼器的一個範例。然而，圖1與圖2僅是特定範例。然而，根據本申請的實施例一編碼器可以使用下面更詳細地概述的概念來執行一圖片12的基於區塊的編碼，並且該概念不同於圖1的該編碼器，例如，同樣沒有視訊編碼器，同樣沒有支持畫面間預測，或者用與圖3所示範的不同方式細分為區塊80，或者根據實施例，即使此編碼器不是使用具有編碼該預測殘差的變換預測殘差編碼，例如直接在空間域中。同樣，根據本申請的實施例解碼器可以使用以下進一步概述的內預測編碼概念將來自資料流14的圖片12’執行基於區塊的解碼，但是例如可以不同於圖2的該解碼器20，同樣沒有視訊解碼器，而是一靜止圖像解碼器，同樣不支持內預測，或者同樣以不同於圖3描述的方式將圖像12’細分為區塊，及/或例如同樣沒有在變換域中而是在空間域中從資料流14導出該預測殘差。
話雖如此，以下描述首先集中於基於ISP的內預測的描述。根據ISP內預測，內預測區塊如圖4中的區塊80允許區分為一維水平分區或一維垂直分區。可以為任何尺寸的內預測區塊80提供以這種方式處理區塊的可用性，或者將處理區塊的可用性限制為僅在一預定範圍的區塊大小內的區塊80，例如大於特定尺寸的區塊。“一維”是參照這樣一個事實：當與分區相關的是分區的結果時，該分區只是沿著分區維度的一個取樣寬。然而，在此討論的該分區模式的一維是參考這樣的事實:即分區沿著某個維度發生，所得到的分區像條帶一樣，在橫切於該分區方向的一方向上完全在該區塊上延伸。例如，參見圖4。圖4在左側顯示該內預測區塊80，亦即，待解碼的區塊或待編碼的區塊。它具有維度WxH。也就是說，它是一個WxH維度的區塊，其中H在取樣中測量的區塊80的高度，W是在取樣中測量的區塊80的寬度。根據圖4，存在兩個可用的區分或劃分選項，即一水平分割100，根據哪個區塊80沿一垂直軸分割或劃分為多個分區1021 、1022 、1023 與1024 ，亦即，該分區維度104。根據圖4的範例，在下面的描述中應用的範例，每個分區1021 至1024 是一個取樣寬，如雙向箭頭106所示，因此起因於區塊80的分區1021 至1024 的數量等於H，即，區塊80的取樣108為單位的區塊80的高度，但是應當清楚，劃分也可以由編碼器與解碼器根據編碼器與解碼器之間約定的不同方式來執行，例如，可以用導致一預定數量的分區102i 的方式完成沿著維度104的區塊80的一種劃分，該預定數量大於二，或者例如其混合，具有沿著該分區維度將區塊80的該尺寸均勻地分配該到預定數量的分區上。
圖4中描繪的並由參考符號110指示的另一種編碼選項對應於將區塊80分割為垂直分區1121 、1122 ...1128 。也就是說，根據選項110，區塊80沿該水平軸劃分為分區112i ， 亦即，一水平分區維度104。在選項100的情況下，每個分區102i 都與區塊80一樣寬，即具有區塊的寬度W，而該分區112i 則採用區塊80的該高度H，即具有高度H。 總結來說，以類似於選項100的描述的方法，該垂直分割110可以將區塊80區分割成多個分區112i ，其中W表示在取樣108中測量的區塊80的該水平寬度，使得每個分區112i 在水平方式是一個取樣寬度，其中，然而，根據選項100，可用編碼器與解碼器約定的另一方法執行該劃分。
因此，根據圖4，該編碼器根據該水平區分選項100自由地將區塊80劃分為的H個Wx1個分區102i 或根據垂直分割選項110將區塊80劃分為W個1xH分區112i ，並且該編碼器為區塊80選擇的該區分選項可以針對區塊80在該資料流14中用信號發送，例如通過在資料流14中的對應分區維度旗標114。然而，應該清楚的是，本申請的實施例也涵蓋編碼器與解碼器，在預設值下僅使用選項100與110之一而無需該資料流中的旗標114。更進一步地，在其他示例中，根據在該資料流14中針對從編碼器到解碼器的區塊80用信號發送的該框內編碼模式116，可在資料流80中傳送旗標114。如上所概述，該框內編碼模式可以指示一組可用的/支持的框內編碼模式中的一個，包括例如角度模式以及可選擇地，一個或多個非角度模式，例如一DC模式或一平面模式。也就是說，根據下文中未進一步討論的可替代實施例，旗標114可以根據該框內編碼模式116有條件地用一種方式在資料流14中傳送。根據下文所述的實施例，旗標114存在於針對區塊80的資料流14中，旗標114獨立於在資料流14中針對區塊80用信號發送的該框內編碼模式116。但是，相對於在剛討論的框內編碼的區塊80的該分區處理與將在之後會概述處理區塊的該框內編碼塊80的不同方式之間的一旗標切換是存在相依性的。
根據ISP，以順序地處理這些分區的方式，單獨地預測、變換、量化與編碼該分區102/112的每個。因此，某個分區的該重建取樣將能夠用分區順序預測該多個分區之間的任何後續分區，區塊80已經被劃分為該多個分區，並且以此方式，內預測循環的處理通過區塊80已經被劃分的該分區102/112。圖5根據選項100示範性地顯示區分的一內預測區塊80。區塊80的每個分區1021 -1024 受到預測，亦即，該各個分區102i 的該預測器的導出，以及預測殘差相關的任務，也就是使用該預測殘差校正該預測器。通過組合該預測殘差與該預測器可以執行後一項任務。如同預測殘差相關任務，該解碼器執行例如涉及變換與量化的該預測殘差的該確定，以及使用該預測殘差執行該預測器的該校正，亦即為了維持該預測迴圈同步於該解碼器，通過填充該解碼圖片緩衝區到具有該圖片的該重建的該編碼器中。在分區1021 -1024 之間，獨立地且依序地執行剛剛提到的任務，亦即預測與殘差處理。在針對當前處理的分區的那兩個步驟之後，按照該分區順序對下一個分區102i 進行相同的處理。 在圖5中使用三個箭頭126示範性地說明該劃分順序。
圖5說明對應於圖5中的分區1021 至1024 的該索引分配，在進行接近地較低相鄰分區1022 等等之前包括區塊80的該上面最左像素的該分區將先處理， 但是，此順序僅是一個範例，並且如下面的描述將變得清楚，用下文中討論的前者的相依性，根據其他設置，例如該框內編碼模式及/或區塊80的尺寸，以一種方式選擇此分區順序。
在下面進一步討論的範例中，該分區順序126僅在橫跨分區102/112的分區順序之間以一種方式變化，使得緊接的分區立即彼此相鄰，使得在分割類型100的情況下，該分區順序從頂部到底部或從底部到頂部，並且在劃分類型110的情況下分別從左到右或從右到左。但是，應該指出，其他示例也是可以想像的。例如，可以一種方式選擇該分區順序，使得在兩次掃描中以剛剛概述的相鄰順序掃描該分區，在第一次掃描中，從上到下，從下到上，從左到右或從右到左處理每第二個分區，無論怎麼應用，然後以相同的順序方向或相反的方向處理它們之間的其餘分區。
在任何情況，圖5說明第一分區1021首先被處理並且是當前處理的分區。對於該第一分區，這裡示範性地為1021 ，在處理區塊80的該第一分區時，基於位於區塊80的邊界之外的多個取樣可以僅選擇用於形成分區1021 的該預測器的該組相鄰取樣1181 ，還沒有區塊80的取樣已經被處理，亦即，重建或編碼。也就是說，在集合1181 中的該取樣使用任何預測已經重建於該編碼器中，以及使用該資料流中傳輸的一預測殘差校正該對應的預測器。它們屬於先前編碼/解碼的圖像區塊，並且可以是畫面間編碼或框內編碼或任何其他編碼的區塊。至於用於形成該第一分區1021 的該預測器的相鄰取樣集合1181 中的該取樣的數目與確切位置，同樣取決於分派給區塊80的該框內編碼模式。此框內編碼模式是共同的，或等同地，用於處理將在下面討論的區塊80的每個分區。為了完成該第一分區1021 的處理，根據集合1181 中的一個或多個已經重建/編碼的取樣填充此分區1021 ，在解碼器與編碼器中導出的此分區1021 的該預測器，只要關連到該編碼器其預測殘差被確定，也就是通過上面概述的變換與量化，然後在該資料流中傳輸的版本中，亦即包括該量化損失，使用該資料流14中的該預測殘差通過校正該預測器，此預測殘差用於此分區1021 的重建。例如，圖5在1201 處示範性地顯示分區1021 的該預測殘差。也就是說，1201 包括了對應於分區1021 的該預測殘差的該變換的該變換係數，該變換係數描述在下面更詳細地討論的資料1201 。
現在轉到按分區順序的下一個分區，即圖5的範例中的分區1022 。這種情况已經改變，因為用於導出分區1022 的該預測器的一組相鄰的已重建/編碼的取樣現在可以由位於區塊80外部的取樣及/或位於區塊80內的取樣組成，也就是位於任何已處理分區中的取樣，在圖5的範例中當前分區1021 ，因為對於這些取樣，該預測殘差已經確定並且已經在資料流14中是可用的。也就是說，編碼器與解碼器導出此分區1022 的該預測器，然後分別在該編碼器中確定預測殘差，並分別使用預測殘差來校正編碼器與解碼器中的該預測器。然後以行中的下一個分區繼續該處理，亦即以分區順序的下一個分區，從而順序地處理區塊80的所有分區。
如上面已經提到的，有可能以橫越該分區以外的另一種方式選擇該分區順序126，使得立即地連續的分區成為立即分區的鄰域。也就是說，該分區順序可以從一個分區跳到下一分區。這意味著，用於通過填充該各個分區102i 來導出各個預測器的相鄰取樣的集合118i 不限於如圖5所說明的該各個分區的直接取樣鄰域。這也與該分區順序126的開始的選擇有關。例如，想像分區1024 是分區順序中的第一個分區。然後，可以根據一組相鄰取樣1184 ，圖5中未顯示，通過進行填充來導出其預測器，該集合收集位於區塊80的圓周旁邊，從區塊80的左側到頂部的取樣。在集合1184 中的一些取樣不是立即鄰域分區1024 。順道一提，這將對應於在區塊80整體的通常內預測填充中填充最後一個取樣列的情況。對於任何隨後處理的分區，即分區順序中的第二個分區與其他分區，上述可能性也是正確的。也就是說，它們的相鄰取樣集合118i 也可以包含不緊鄰該各自分區102i 的取樣。甚至更進一步，在不限制該分區順序以一種方式去橫跨該分區的情況下，使得連續的分區是彼此的接近鄰域，則任何第二或後續處理的分區102i 的參考取樣118i 的該集合可以不僅收集取樣位於該各自分區102i 的左側與頂部，也可以是位於該各自分區1021 下方的取樣，根據該分區順序取決於是否早於分區1021 已經處理區塊80的任何分區。也就是說，集合180i 可以包括位於分區102i 的兩個以上側面的多個取樣。
簡要地總結，圖5顯示此處示範性地關於水平分區的區塊80的該分區102/112該順序處理，但是關於垂直分區112i ，相同的描述也應用於該垂直模式110。對於每個分區102i ，對應的預測殘差102i 包含在資料流14中。資料1201 至1204 一起形成區塊80的該預測殘差，亦即120。應當記住，根據本申請的另一實施例，沒使用該變換殘差編碼，亦即，例如直接在空間域的資料流14中用信號發送區塊80的該預測殘差120。在這種情況下，用於各個分區1021 至1024 的資料1201 至1204 可以如圖5所示在資料流14中不包含分區分離場域，其中每個資料部分120i 表示用於該各個分區102i 的某些變換的該信號傳送。相反，在那種情況下，區塊80的該預測殘差120可以形成資料14的一個場域。該解碼器將在處理某個分區102i 時這個替代實施例中的場域120收集此分區102i 的該預測殘差上的資訊。當使用轉換的完全可逆版本時，也可以應用此程序，使得可以在空間域中完成該量化。
因此，圖5顯示在一編碼器與一解碼器中，針對每個分區102i 執行兩個任務，即：1)產生該各自分區102i 的該預測或預測器的該預測導出任務122，亦即，針對該各自分區102i 的每個取樣的一預測取樣值，以及2)隨後執行的該預測殘差相關任務，亦即在該編碼器處的該預測殘差導出，包括為了使其進入資料流14量化該預測殘差，以及通過組合或校正該預測殘差與該預測器來重建該各自分區102i 的該取樣，以至於獲得這個分區102i 的重建取樣。為了該預測導出任務，後面重建的取樣可以用作跟隨劃分順序126依序地處理的的分區102j 的相鄰取樣集合118j 的儲存庫。
在繼續對ISP概念可能性的細節進行進一步描述之前，圖6通過填充一當前處理的分區102i 來說明預測導出122的該過程，其中應當記得，關於一水平分區102的該說明僅是示範性地選擇的，並且相同的描述也有關於垂直分區112。圖6顯示該當前處理的分區102i 及其已經重建/編碼的相鄰取樣118i 的對應集合。如上面關於圖5已經指出的，集合118i 可以不限於直接相鄰，或鄰近於分區102i 的取樣128。然而，由於該劃分，當在區塊80的所有取樣上求平均時，在分割102i 的取樣與集合118i 的取樣128之間的該平均距離130相較於執行區塊80的內預測所獲得的平均距離更低，例如，如同已知的H.264或HEVC。如同關於圖5所描述，使用與區塊80相關聯的該內預測模式對每個分區102i 執行該預測器導出或填充122，此模式指示一組可用的內預測模式中的一個。該組可以包括在該角度或方向132上彼此不同的角度或方向模式，沿著該角度或方向132，該相鄰取樣組118i 的該取樣內容被複製到分區102i 的取樣134中。為了執行該複製，基於相對於該取樣134在與方向132相反的該方向上定位的集合118i 中的多個相鄰取樣134的一數量，可以導出分區102i 的每個取樣134的該預測。例如，由內插濾波器的內核定義該數量，該插值濾波器用於導出取樣集118i 的該取樣128之間的多個像素間位置。例如，圖6說明了集合118i 中的三個取樣128用於計算當前處理的分區102i 中的一個取樣134的該預測。由於相對小的平均距離130，可以將分區102i 的每個取樣134的參考取樣134的該數量保持為低。下文將呈現更多細節。然而，出於完整性的考慮，應注意，可用的內預測模式的該集合也可包括一DC模式，根據該DC模式，一個DC值分派給分區102i 的所有取樣134，通過執行平均多個相鄰取樣118i 的該集合的一個平均導出此DC值。此外，可以存在一平面模式，根據該平面模式，取樣134的該預測值由分區102i 內的該取樣位置上的一線性函數定義，基於該相鄰取樣118i 導出此線性函數的斜率與偏移。此外，應當注意，該相鄰集合118i 可以取決於區塊80所選擇的該內預測模式而不同，並且例如可以在角度模式與該非角度模式DC/平面之間特別地不同。
例如，在現有技術JEM解碼器中，有67種內預測模式可用：65種是角模式，而兩種是DC與平面模型無方向結構。該1D分區(簡稱為1D分區模式)模式，即對上文與下文概述的該分區102/112所進行的該預測器導出122，根據該方法，將區塊80沿著維度104劃分/分割為多個分區，該所得分區擴展橫跨維度104地該區塊地整個寬度，沿著方向104為一個取樣寬或多於一個取樣寬，可以與它們中的任何一個組合，或者換句話說，可以使用它們中的任何一個來實現。如已經對於圖5所描述的，一個區塊80的所有分區102/112，例如一編碼單元CU，使用與區塊80的相同相關聯的內預測模式，從而對於區塊80當該內預測模式116需要在該資料流14中僅一次傳送時，避免在信號化的一過多耗費。
也就是說，如同在該JEM解碼器中概述的該二維案例可以用相同的方式來進行該預測122。然而，對於一當前處理的分區102/112僅計算一條線，可以是水平線或是垂直線，使得與JEM相比，該預測處理122將相應地調整。假如以一種方式選擇用於橫跨該分區的該劃分順序使得連續的分區彼此相鄰，該預測處理122可以對應於JEM的二維案例，但是僅關於該第一行，亦即，最接近已經重建/編碼的鄰域的一個。在某些情況下，HEVC與JEM均允許使用應用於該參考取樣128或所得預測器的某些濾波器。有助於在二維情況下更好預測在該預測區塊80的取樣以減少邊界不連續性，該取樣遠離該參考取樣128。然而，通過使用劃分分區102/112，有可能並且應該是目標，利用附近像素之間的高相關性。
也就是說，應當利用該減小的平均距離130。過度的平滑會降低品質。因此，該編碼器或解碼器應該能夠執行兩種內預測，亦即，使用關於圖4與圖6概述的分區的內預測，以及隨後，內濾波器，即涉及該預測器導出122的內部濾波器失能，或相對於貢獻該二維案例中的一個取樣的多個取樣的該數量，至少每個分區取樣134的貢獻取樣134的該數量減少，其中區塊80的該內預測在區塊上執行或根據HEVC執行，即，分解為一階層四叉樹的葉塊，該葉塊將區塊80細分為矩形塊。
從上面提出的討論中可以清楚地看出，為了執行該預測殘差相關的任務124，該解碼器編碼，例如來自該資料流14中的該當前處理的分區的該各個預測殘差的一變換，並且執行一逆變換，例如一頻譜到空間變換，在此變換上，以產生該預測殘差，然後該預測殘差用於校正通過組合/加法在122獲得的該預測器。在編碼器中進行相同的操作，以保持該預測迴圈與該解碼器同步。此外，該編碼器針對一當前處理的分區執行了使用122所確定的該預測器的預測誤差的該轉換，進行相同的轉換，例如一空間到頻譜轉換，接著該轉換係數的一量化，然後將該變換編碼成該資料流14以產生該當前處理的分區102i 的該對應資料120i 。關於該變換，使用相同變換來處理區塊80內的所有分區102/112。除了在平面模式的情況下，例如可以使用DST-VII的情況之外，可以是一DCT-II。因此，假如使用到目前為止關於圖1與圖2概述的以及下文概述的該劃分方式的內預測模式編碼區塊80，則編碼器與解碼器可以用於其他區塊，例如變換跳過，即在空間域中編碼，EMT(EMT=顯式多核變換)，NSST(NSST =模式相依地非分離第二變換)，的相關的該變換與逆變換的所有工具可能失能，以避免不必要的耗費位元。甚至可替代地，該變換可以是基於一或多個該內預測模式，一專用語法元素及該預定劃分順序中所選擇的一線性變換。
關於劃分順序126已經有使用一些文字說明，通過該劃分順序依序地處理當前處理的區塊80的分區102/112。應當強調的是，該實施例僅是一個範例，並且根據替代實施例劃分順序可以是靜態的，或者根據下文圖7闡述的範例以不同的方式變化實施例。圖7通過題寫編號使用箭頭126指示圖5說明的可能的分區/處理順序。這裡，此順序按升序跟著題寫的編號。圖5代表一個範例，其中該順序126從包含區塊80的該左上像素/取樣140的一分區開始，向下引導至該最低分區。類似地，如果該分割類型是垂直的，則處理順序將從一最左側分區開始，該分區包含該左上角的像素/取樣，再次往右。然而，對於所有現有的內預測模式而言，這不是最佳情況。這在圖7中示範性地顯示該對角模式的區塊80的該垂直與水平劃分，亦即，複製角/方向132從左下側到右上側指向45°，以及34，即複製角度/方向132從左上到右下指向-45°。在前一種情況下，如果分割是水平的，則從該區塊80的該左上角開始將產生多個分區，該分區的重建的取樣不會對後續分區的該預測有任何影響。因此，從區塊的左下角開始更合理，使得每個分區的該重建的取樣可用於按劃分順序預測該下一個分區。然而，該在垂直分割中，這不是必需的，因為可以在前面的圖示中看到。另一方面，模式34不存在這些問題中的任何一個，在水平與垂直分割中取樣從兩側來。因此，可以在兩個分割中採用該正常處理順序。
表1顯示了根據內預測模式和分割類型的處理順序的完整列表。
內模式 分割類型 處理順序
[0,1] (Non-angular) 水平的 正常
[0,1] (Non-angular) 垂直的 正常
[2,HOR_DIR-1] 水平的 逆向
[2,HOR_DIR-1] 垂直的 正常
[HOR_DIR,VER_DIR] 水平的 正常
[HOR_DIR,VER_DIR] 垂直的 正常
[VER_DIR+1,VDIA_DIR] 水平的 正常
[VER_DIR+1,VDIA_DIR] 垂直的 逆向
表 1: 根據內模式與分割類型的處理順序。 HOR_DIR AND VER_DIR 分別是水平的與垂直的模式而 VDIA_DIR 是垂直對角的模式
總結到目前為止關於信號化消耗所描述的該ISP概念，參考圖8。圖8根據本申請的實施例說明關於針對一區塊80所傳輸的內容。特別地，存在該內預測模式信號化(signalization)116，該信號化使用信號發送關於哪種內預測模式將應用於區塊80。因此，信號化116指示該角度模式的一個，例如該可用模式之一，包括該角度模式與非角度模式，例如DC與平面。除了此信號化116之外，還有該編碼器所編碼成資料流14並且由該解碼器針對區塊80從其解碼到的一分區旗標160，該分區旗標根據圖1與圖2指示是否該分區處理應用於區塊80，或者是否同樣“正常地”處理，例如整塊地或分片段地或二維地，亦即，僅將區塊80外部的取樣用於形成參考取樣儲存庫118以預測區塊80內的每個取樣。可選替地，旗標160可以一方面在關於圖4至圖7討論的該分區處理之間切換，並且使用四叉樹細分將區塊80分解為多個變換區塊，然後以不利的方式對該變換區塊依序地處理，但是，必須在資料流14中信號傳送該分解。根據圖4假如該分區旗標160指示該劃分，則針對區塊80資料流14包含該分區維度旗標114，該分區維度旗標114在關於圖4所討論的該分區類型100與110之間切換。然後，對於區塊80被細分/劃分的區塊80的每個分區80，如果分區旗標160指示此分區選項在變換域中，資料流14包括一信號傳送/資料1201 ，該信號傳送/資料1201 具有在其中編碼的該各個分區的該預測殘差，例如如上所述。
關於圖8，應當注意，可以按照與該分區/編碼順序126對應的一順序將該預測殘差資料1201 、1202 …編碼到資料流14中。如上所述，通過信號化116所指示的該內預測模式可以獨特地確定後者。然而，另一種選擇是，基於資料流14中的一可選的附加信號化來至少部分地確定該劃分順序126。
本文提出的描述的另一替代方案是以下事實：可以替代地使用信號化116，以指示是否使用該劃分選項。換句話說，一個語法元素通常可以承擔116與160的信號化責任。這樣的語法元素將假定一範圍的數值中的一個，每個對應於內預測模式及是否使用區塊劃分的指示與否的一個組合。在這種情況下，也可能僅針對該內預測模式的一子集提供該劃分選項。最後，應注意，假如通過信號化116所指示的該內預測模式假定該可用的內預測模式中的某個子集合，則可能也僅有條件地在資料流14中傳送劃分旗標160。
圖9示範性地顯示關於具有某個分區102/112i 的該預測殘差的該資料120i 看起來如何。根據圖9，該預測殘差在變換域中編碼成資料流14。也就是說，該編碼器通過變換180產生該預測殘差的一變換182，其中一解碼器通過逆變換184導出該預測殘差與空間域。圖9對應於不同頻譜域f說明變換182的該變換係數186。資料120i 可以包括一編碼的區塊旗標CBF 188，該旗標指示變換182是否包括任何有效變換係數186，亦即變換182是否完全為零。如果設定CBF 188，則該變換182不為零，並且資料120i 可以包括一最後位置(LP)語法元素190，該語法元素190指示192沿著一有效變換係數，亦即一非零變換係數186，的增加的頻譜頻率(參見軸194)的該最後位置，從最低或DC係數196開始。然後，資料120i 包括信號傳送198，該信號傳送198將該變換係數從196信號傳送到192。
也就是說，圖9說明每個分區102i /112i 可以通過CBF 188、LP190與變換係數資料198將其預測殘差編碼到資料流14中。也就是說，對於具有n個分區102/112的區塊80，因此，對於每個具有一非零CBF 188的分區，以及對於僅具有與之相關聯的一非零CBF 188的這些分區的該變換係數資料198，將存在n個CBF 188及一個LP 190。該係數資料198可以用同樣方法編碼，如同該正常處理的內預測區塊，亦即，該劃分旗標160指示非劃分選項的多個區塊8，但以下情況除外：每個LP 190僅需要一個座標，如果該分區是一取樣寬(否則通常需要2個座標)，亦即x表示多個水平分割100，並且y表示多個垂直分割110。但是，在二維分區的情況下，LP 190表示沿著一掃描方向的最後一個位置，使用等級指示或使用x與y坐標。每個CBF 188的該上下文可以被選擇為先前編碼的CBF的數值，亦即，以劃分順序126的該先前分區的該CBF。此外，由於該劃分，該變換係數資料198相關於不同的形狀。也就是說，該變換182也具有不同的形狀。如關於圖4所討論的，假如該分區是一維分區，該變換182是一個一維變換。也就是說，根據該分割類型100或110，該變換182可以是變換係數的一W/H長向量。
關於圖8的該旗標160與114及其編碼，注意以下內容。指示區塊80是否將被區分為分區102/112的該旗標160定義待檢查是否針對區塊80在資料流14中傳送旗標114的條件。特別地，假如旗標160指示該劃分為分區102/112，則旗標114存在於資料流14中，並發送到該解碼器，以信號傳送將執行哪種類型的分割100/110，亦即水平的或垂直的。就像該旗標CBF一樣，也可以使用上下文相關的熵編碼/解碼來對旗標114進行編碼。根據區塊80的該內預測模式，旗標114的該上下文可具有三種可能性：對於非角度模式為0、對於水平模式為1、對於垂直模式為2。
儘管圖9替代了一CBF 188可能在該當前區塊80的每個分區i中存在一次，但是另外地或可替代地，該當前區塊的該分區120i 的該變換182可以各自分割一個或多個子區塊，具有資料120i 中每個子區塊用信號發送的一編碼的子區塊旗標，指示該該子區塊內部的該變換係數186是否全部為零或其至少一個係數是非零。因此，僅將該編碼的子塊旗標信號傳送非零係數的存在的子區塊內的係數186進行編碼。該編碼的子區塊旗標信號發送任何非零係數的存在的子區塊內的其他係數，將在解碼器端推論為零。注意，當每一個分區120i 分開地傳送時，屬於一個分區的子區塊在那分區的該變換182的頻譜分量不同並且在其構成那變換之外的該變換係數186上也不同。例如，子區塊可用它們是是4×4係數區塊的這樣方式設定，只要該各自的分區102i /112i 在x(分區寬度)與y(分區高度)中具有都等於或大於4個取樣140的多個維度，因此，只要該各自的分區102i /112i 的該變換180在x和y均等於或大於4個係數186的多個維度。在一4xN分區的情況下，該多個子區塊形成一行的m個4x4子區塊，具有m*4=N且m為一整數。在一N×4分區的情況下，該多個子區塊形成一行m個4x4子區塊，具有m*4=N且m為一整數。對於更寬的分區，產生按列與行排列的4x4子區塊的一陣列。然而，取決於可能的嵌入，不會發生這樣的劃分，即，大於4個取樣及/或多達4個取樣。不論是否發生，對於更窄的分區，即其維度之一小於4個取樣，即其在至少一個維度x或y上小於4個取樣，可能完成將其變換180進行子區塊劃分為多個子區塊，每個收集多個不同組的那個變換的多個係數，使得在所有可能的情況下，對於該當前區塊的尺寸，該子區塊具有最小數量M的係數。也就是說，可以將該分區設定為沿著一個維度與該區塊寬度N一樣大，而該劃分則沿著另一個維度104進行。因此，每個分區的該變換180可能為1xN，2xN，Nx1或Nx2的尺寸。實際上，某個分區的該變換180可以具有等於此分區中的取樣的該數量的多個係數。在一1xN個分區/變換的情況下，該子區塊然後可以形成一行的m個1xM子區塊，具有m*M=N且m是一整數。在一Nx1個分區的情況下，該子區塊形成一列的m個Mx1子區塊，具有m*M=N並且m是一整數。在一2×N個分區/變換的情況下，該子區塊然後可形成一行的m個2x(M/2)子分區，具有m*(M/2)=N且m為一整數。在N×2分區的情況下，該子區塊可以形成一列的m個(M/2)×2個子塊的行，具有m*(M/2)＝N且m是一整數。對於該最小數目的係數的M=16的案例在表2中示範性地顯示。表 2: 熵 編碼系統群組尺寸
區塊 ( 分區 / 變換 ) 尺寸 係數群組 ( 子區塊 ) 尺寸
Figure 02_image001
Figure 02_image003
Figure 02_image005
Figure 02_image007
Figure 02_image009
Figure 02_image011
Figure 02_image013
Figure 02_image015
所有其他可能的
Figure 02_image017
 案例
Figure 02_image019
儘管圖9說明該當前區塊80的每個分區i可能存在一次CBF 188，但是在解碼器與編碼器之間可能同意，對於一當前區塊80的該分區之間的該n個分區中的至少一個具有非零CBF188。因此，如果n是子分區的該數量，並且按編碼順序該前n-1個子分區已經產生一個零CBF，則將推斷第n個分區的該CBF為1。因此，沒有必要對其進行解碼並且其不進行編碼。因此，資料120n的該CBF將丟失的是資料1201 至120n-1 中的該CBF信號傳送的零，並且該解碼器將推斷此CBF信號傳送了那分區的該變換中存在至少一個非零係數。
就該框內編碼模式信號化116而言，以下內容可以成立。該編碼模式信號化116可能是作為一指標或索引發送的，該指標或索引指向最可能模式(MPM)的一列表中的一個。基於用在先前編碼/解碼的內預測區塊，如空間及/或時間上相鄰的內預測模式，後者的MPM列表又可以由編碼器與解碼器以相同的方式來確定。因此，該MPM列表可以代表可用/支持的內預測模式的一適當子集合，亦即，該上述角度模式及/或DC與平面模式中的一個或多個。如上所述，可能有使用LIP或ISP方案的內預測區塊，例如附圖中的區塊80，除了經典地進行內預測的區塊，亦即，以整體區塊或以變換區塊為單位，使用遞迴四叉樹劃分將這樣的內預測的區塊劃分成變換區塊。兩種類型的內預測區塊可能支持相同集合的可用/支持的內預測模式。對於稍後的正常/經典內預測區塊，可以在該資料流中用信號發送一MPM旗標-具有該解碼器進行相同的解碼以及該編碼器進行相同的編碼-指示是否從該MPM列表中選擇那區塊的模式，在這種情況下，傳送進入此MPM列表的一指標/索引-具有該解碼器進行相同的解碼以及該編碼器進行相同的編碼，如果使用該LIP或ISP方案進行內預測多個區塊，例如區塊80，則推斷該MPM旗標將該MPM列表限制用信號發送。如果對於某個正常/經典內預測區塊，該MPM旗標用信號發出沒有使用該MPM模式，則對於在資料流中的那個區塊沒有索引/指標存在，反而進入到內預測模式的一剩餘列表的一替代指標/索引在該資料流中為了那個區塊傳送。該剩餘列表也可以是可用/支持的內預測模式的該集合的一適當子集合，並且特別地，相較於可用/支持的內預測模式的該集合相比是該MPM列表的該補充集合，亦即可用/支持的內預測模式集合的每個成員可以是該MPM列表或該剩餘集合的成員。進入該MPM列表的該指標/索引可能是VLC編碼的，而進入該剩餘集合的指標/索引可能是使用一固定長度的代碼編碼的。自然地，即使對於該LIP或ISP方案的內預測區塊，可能發送MPM旗標，並且取決於使否該選擇的模式是該MPM列表還是該剩餘集合，編碼器可以從具有設定該MPM旗標的可用/支持的內預測模式的該集合中自由選擇任何一種模式。
對於該正常/經典內預測區塊以及ISP/LIP內預測區塊，該MPM列表可以是相同的，亦即，可以由編碼器與編碼器以相同的方式確定。然而，不管是否應用對該MPM列表的限制以及對用信號發送ISP/LIP內預測的區塊使用的MPM列表的該MPM旗標的推斷，可選替地，對於ISP/LIP內預測的區塊，可以不同地確定該MPM列表，以適應該ISP/LIP模式的該統計。例如，可以對更改成從該MP列表中排除該DC內模式，並且針對該ISP水平分割，即水平方向104優先水平內模式，以及針對該垂直分割，亦即垂直方向104，優先處理垂直內模式。也就是說，對於一正常/經典內預測區塊，該MPM列表可以形成可用/支持的內預測模式的該集合的一適當子集合，該些模式是根據某種概念來選擇與排序的。對於ISP/LIP內預測區塊80，該MPM索引可以指向一MPM列表，該MPM列表取决於旗標114用信號發送的劃分方向104及/或形成可用/支持的內預測模式的集合的一適當子集合，該子集合少於該DC模式或少於DC模式與平面模式，亦即，可用/支持的內預測模式的該集合中該角度模式的一適當子集合。假如該旗標指示該劃分方向104為水平，基於先前編碼/解碼的先前使用的內預測模式的該MPM列表構造可能偏好靠近該水平維度的一角度內預測方向的角度模式，以及假如該旗標14指示該劃分方向104為垂直，則偏好靠近垂直維度的一角度內預測方向的角度模式。
關於剛剛提出的描述，再次注意，如在此概述的，正常處理的內預測模式與使用劃分處理的內預測模式之間的並置不需要。也就是說，根據該劃分旗標160編碼器與解碼器不可避免地使用在此提出的該劃分來處理內預測的區塊80，然後例如變得過時。但是，如果旗標160用信號發出的該劃分選項可用作該編碼器的一個決策，則以下描述揭示該編碼器如何執行決策的一可能性或找出是否應該分區模式應該用於某個區塊80以及哪個分割類型，亦即水平或垂直，是最好的。為了執行此操作，該編碼器應針對每個區塊不同的內預測模式測試兩個選項。與編碼器僅具有一個選項，例如該正常選項，的情況相比，由於必須測試更多的選項，所以該編碼器將較慢。為了减少這種影響，根據以下策略通過該編碼來測試由旗標160用信號發送的該分區模式，其中參考圖10與11。 1)該1D分區模式是待測試的最後一個內模式。 2)將Cmin 設為目前為止當將要測試1D分區模式時的該最低成本。 3)選擇待測試的內模式與分割類型的一組合。 4)該區塊劃分為N個1D分區，並讓
Figure 02_image021
表示這些分區的每個的該索引，其中
Figure 02_image023
。 5)在對每個分區編碼之後，計算其子成本
Figure 02_image025
。因此，我們可以知道在該分區
Figure 02_image021
進行編碼之後所有可用的該子成本之總和，該總和是
Figure 02_image027
。此過程在圖10中進行描述，因此，該過程說明該1D分區子成本的該累加以獲得整個區塊的該最終成本。 6)在處理完每個分區之後，評估該表達式
Figure 02_image029
。如果是真，我們將繼續對分區進行編碼直到結束。否則，保證此測試模式將不會產生比
Figure 02_image031
更低的一RD成本，所以該過程中斷，且我們繼續進行內模式與分割類型的下一個組合。 7)如果所有1D分區均已編碼，則該測試模式為最佳模式，並對應地更新
Figure 02_image031
。
該程序的優勢在於，它避免了不必要處理1D分區，因為已經知道該1D分區模式不會産生比已經存在的最小成本更好的成本。 此外，在RD損耗方面沒有任何缺點。 整個過程如圖11的流程圖所示。
再次注意，上述所有ISP範例均說明在橫跨於方向104的一個取樣寬條帶中進行該劃分，可以用導致分區更寬的方式進行該劃分，從而導致二維的分區。 關於分區的其他替代方案說明如下。
在一特定的ISP範例中，基於1)該內預測模式是角度模式還是非角度模式以及2)沿著那方向104的該內預測區塊的該寬度來定義沿著分割方向104的寬度。
1)可以將一
Figure 02_image033
(假設
Figure 02_image035
與
Figure 02_image037
為2的冪次)區塊80在或垂直方向(例如，用送到該解碼器的一語法元素114表示)劃分為
Figure 02_image039
個相等的分區102/112，具有
Figure 02_image041
維度，其值描述在表3中。根據表3，使用一非角度內模式預測的
Figure 02_image035
=16，
Figure 02_image037
=8的區塊受到一垂直分割(即，方向104為垂直)，例如，將分割成4個分區102，所有這些分區將具有維度
Figure 02_image043
＝16與
Figure 02_image045
＝2。如果使用一角內模式預測同樣區塊80，則它將被分割成8個分區102，每個分區的維度為
Figure 02_image043
＝16及
Figure 02_image045
＝1。
變數 內模式 垂直分割 水平分割
Figure 02_image047
 角度的
Figure 02_image049
Figure 02_image051
非角度的
Figure 02_image053
Figure 02_image051
Figure 02_image055
 角度的
Figure 02_image057
Figure 02_image059
非角度的
Figure 02_image057
Figure 02_image061
Figure 02_image063
 角度的
Figure 02_image065
Figure 02_image067
非角度的
Figure 02_image065
Figure 02_image067
表 3 : 額外的布局案例 1 的
Figure 02_image047
,
Figure 02_image055
與
Figure 02_image063
的數值
2)可以交替地將一
Figure 02_image033
(假設
Figure 02_image035
與
Figure 02_image037
為2的冪次)區塊水平地或垂直地(例如，以發送到該解碼器的一語法元素114指示)劃分為具有
Figure 02_image041
維度的
Figure 02_image039
個相等的分區，其中
Figure 02_image039
的值不是固定的(因此它用一語法元素傳輸到該解碼器)，並且其範圍可以是2到
Figure 02_image069
之間的任何2的冪次，其中
Figure 02_image069
是被分割的維度的值(該垂直分割的寬度，該水平分割的高度)。
Figure 02_image035
與
Figure 02_image037
的值如表4所述。
變數 垂直分割 水平分割
Figure 02_image047
Figure 02_image071
Figure 02_image051
Figure 02_image055
Figure 02_image057
Figure 02_image073
表 4 : 額外的布局案例 2 的
Figure 02_image047
與
Figure 02_image055
的數值
替代地，沿著該維度104的分區的該寬度可以直接用信號發送給區塊80。
3)一W×H(假設
Figure 02_image035
與
Figure 02_image037
為2的冪次)可以交替地將區塊80水平地或垂直地分割(例如，用傳送到該解碼器的一語法元素114指示)分為具有
Figure 02_image075
維度的
Figure 02_image039
個分區(其中，
Figure 02_image039
取決於
Figure 02_image035
與
Figure 02_image037
)，
Figure 02_image077
。如果該分割為水平，則令
Figure 02_image079
；如果是垂直，則
Figure 02_image081
，
Figure 02_image083
。 表5中針對s的不同值描述
Figure 02_image085
的各種選項，
Figure 02_image069
沿著維度104測量區塊80的該寬度，並且沿著維度104測量分區i的該寬度。
Figure 02_image087
的數值的範例
Figure 02_image089
 (Op. 1)
Figure 02_image089
 (Op. 2)
Figure 02_image089
 (Op. 3)
4 (1, 1, 1, 1) (1, 3) (1, 1, 1, 1)
8 (1, 2, 2, 2, 1) (3, 5) (2, 2, 2, 2)
16 (2, 4, 4, 4, 2) (5, 7, 4) (2, 4, 4, 4, 2)
32 (4, 8, 8, 8, 4) (7, 9, 11, 5) (2, 4, 8, 4, 8, 4, 2)
64 (8, 16, 16, 16, 8) (11, 13, 15, 17, 8) (2, 4, 8, 16, 4, 16, 8, 4, 2)
128 (16, 32, 32, 32, 16) (17, 19, 21, 23, 25, 23) (2, 4, 8, 16, 32, 4, 32, 16, 8, 4, 2)
表 5: 對於不同分區布局的
Figure 02_image091
的數值
該解碼器使用的選項是固定的或者可以根據在該解碼器側的存在的參數的該數值隱含地確定。
4) 一W×H(假設
Figure 02_image035
與
Figure 02_image037
為2的冪次)可以交替地將區塊80水平地或垂直地分割(例如，用傳送到該解碼器的一語法元素114指示)分為具有
Figure 02_image075
維度的
Figure 02_image039
個分區(其中，
Figure 02_image039
取決於
Figure 02_image035
與
Figure 02_image037
)，
Figure 02_image077
。如果該分割為水平，則令
Figure 02_image079
；如果是垂直，則
Figure 02_image081
，
Figure 02_image083
。通過一語法元素所確定的
Figure 02_image085
值用於將該區塊區分成子分區，該語法元素指示範例3中呈現的該三個選項的
Figure 02_image085
。
因此，如在上面的範例1至4中示範的，可以沿著一維度104進行劃分，使得該劃分與垂直於預定維度的該預定塊一樣寬，而沿著該預定維度104測量的該分區的一寬度從至少兩個不同的寬度設定或選項中選擇。可以使用顯式或隱式信號發送概念來保持在編碼器與解碼器之間的該選擇同步。因此，該選擇使得儘管可以在相同尺寸與形狀的塊之間改變分區，但是與此變化相關聯的消耗保持相當地低。例如，取決於該預定塊的該框內編碼模式，如取决於該預定塊的該框內編碼模式是否是喔角度模式，來進行選擇。如在範例4中所示，也可以根據針對該既定區塊的該資料流中的一索引進行該選擇，該索引指示該至少兩個不同寬度設定中的一個。該分區可能是沿著該分區維度的一個或多個取樣寬度。在一個區塊內，沿著該劃分的/預定的方向的該分區寬度可以變化。一個可能是一個取樣寬，即一維的條帶，而另一個可能是一個以上取樣寬，是一個二維取樣域。
至於該殘差編碼，如上所述，可以使用變換編碼來完成。每個子分區102/112可以在資料流中具有其自己的編碼區塊旗標(CBF)188、最後位置(LP)語法元素190與變換係數198，將發送給該解碼器。因此，對於具有K個子分區102/112的區塊，例如一CU，對於具有一非零CBF的每個分區102/112，將存在K個CBF 188與一個LP 190。用於編碼每個CBF 188的該上下文可以取決於相同區塊內一先前編碼的子分區的該CBF值，例如沿著順序126。另外，還可以在資料流中向該解碼器發送尚未提及的語法元素，以指示是否在每個區塊上使用該ISP概念，或者指示是在對應於整個資料流或某一圖片或某一圖片的一片段的範圍內，例如，使用在此所述的該劃分的內預測概念或在該範圍內的每個內預測區塊80上使用在此所述的該劃分的內預測概念，或者是否用信號發送將一些視為一個片段，即像劃分成一個分區一樣。
同樣地，上面已經描述可以使用一個變換來分別變換每個子分區，從而針對未量化為全零的每個分區102/112產生一個變換。作為用於某些分區102/112的變換，可以使用一2-D變換，除了在那分區102/112的該維度之一為一的情況下，在這種情況下將應用一1-D變換。該變換核心可以是一DCT-II或在要對子分區進行解碼時在該解碼器端的現有參數所確定的任何其他變換。例如，根據該內模式、該子分區索引與該子分區維度或該後面參數的某個子集合的組合來選擇該變換。它也可以直接用信號發送給該解碼器，或者換句話說，以一額外的語法元素的形式發送，例如，針對區塊80內的所有分區或分開地針對一個區塊80的每個分區102/112。
上面已經討論過的一個方面是，在空間或某個中間變換域通過對每個分區的該預測殘差分別地進行一變換所達到的該量化之後，然後量化其該變換係數，可以對區塊80的分區102/112的殘差進行進行無損或可逆的進一步變換。因此，該解碼器將能夠獲得針對整個區塊80的一變換的該變換係數準位，經受該逆向無損變換，以在空間域或中間域中獲得梅個分區102/112的該預測殘差，針對每個分區102/112通過進行重新變換來獲得空間域中該的預測殘差。
此外，上面已經討論過，針對區塊80的該各個分區的該預測殘差以相對於這些分區的該各個內預測的交替方式逐個分區依序地量化與編碼到資料流中。關於圖5以及關於圖10與圖11已經描述這點。然而，該解碼器不需通過一方面在殘差解碼變換執行該解碼以及一方面通過該組合內預測執行該各種分區的該重建以及另一方面執行該預測殘差。也就是說，在對某個區塊80進行解碼時，該解碼器可以針對來自該實際重建程序的該各種分區的該預測殘差120的該解碼進行解耦合，該重建程序包括該各種分區的該各個內預測。與包括各個分區的各個內預測的實際重建過程解耦。參見圖5：一解碼器根據一個處理任務從該資料流14中可以解碼所有分區120i 的該預測殘差120i ，即，針對區塊80的預測殘差1201 至1204 ，並且該解碼器根據另一任務，可以使用分區102i 的該預測殘差120i ，使得根據分區順序126，按分區重建區塊80的內部。為此，該解碼器在該第二任務中使用該區塊80的內預測模式對每個分區120i 執行內預測，然後相加從該第一任務獲得的該預測殘差120i ，然後通過以分區順序126步進到下一個分區120i+1 繼續重建區塊80，以執行空間預測，然後使用那分區的該預測殘差進行重建，以校正該內預測結果。解碼器可以在開始使用該預測殘差執行該預測與預測校正的該第二任務之前完全地執行從資料流14導出該預測殘差120的該第一任務，或者該解碼器可以並行執行兩個任務及提供測量以保證某個分區102i 的該預測殘差120i 在需要時準備就緒，亦即在使用該區塊的內預測模式已經獲得那分區102i 的該預測結果並且需要校正的時候。特別地，在第一任務或階段期間，該解碼器可以並行地針對所有非零分區，亦即針對以信號發送該預測殘差120i 為非零的所有分區102，執行所有逆變換。
從一面向可以注意到，當在變換域中該分區i的該殘差120i 進行量化時，可能發生這些分區的該重建取樣可能偏離，即超出或超過某個允許的取樣值範圍。如上所述，它們可以用作順序126之後的分區j的參考取樣118j的成員。根據ISP變異體，這些取樣按原樣保留，用於預測順序126之後的該分區j，並執行區塊80的這些取樣的修剪作為整個區塊80的最終修剪步驟，從而例如增加該解碼器側的實現友好性。因此，在導出一分區102i 的該預測器時，根據分區順序126，可以在未修剪狀態使用在該分區102i 之前的多個分區的一重建取樣，該重建順序是一個或多個已經重建的取樣118i 中的一個，作為該當前分區的參考，其中，在執行該順序的重建之後，最後將該重建的取樣從該尚未修剪的狀態修剪到一允許的取樣值範圍的一狀態，以最終重建該預定區塊。在編碼器側，僅僅為了獲得這樣的取樣的該重建版本而執行剪輯，以用作隨後的編碼區塊的一預測參考，以保持與該解碼器的參考同步。但是，這種最終的清理的修剪只是一個例子，並且可以立即執行該修剪，亦即在一分區i的重建取樣用作一後續處理的分區j的一參考取樣118j之前。
下面將具體說明一個ISP範例。具體地，根據此範例，無論是否使用ISP方案編碼與否，通過一分割模式旗標160，對於一框內編碼區塊80該資料流14都。該資料流14中的一對應語法元素可以命名為intra_subpartitions_mode_flag。舉例來說，如果此旗標是一個，則使用LIP或ISP方案可以將該框內編碼區塊80進行編碼，否則，可以使用正常內預測將該區塊80進行編碼。例如，僅在滿足某些一個或多個條件的條件，該LIP或ISP方案可用於該當前框內編碼區塊80。該一個或多個條件可以例如包括：例如就區塊80的取樣數量而言，該框內編碼區塊80需要大於某個最小尺寸，及/或框內編碼區塊80不允許至少在水平地與垂直地都超出特定維度，為了例如不會導致大的變換尺寸。更準確地說，在至少一個方向，即，水平地或垂直地，假如區塊80小於或等於上述最大與變換相關的尺寸，則該LSP或ISP模式才可用。因此，假如區塊80滿足上述條件，intra_subpartitions_mode_flag才可以存在於該資料流中。否則，解碼器可以推斷出該框內編碼區塊80是正常地框內編碼的。假如該分割模式旗標，intra_subpartitions_mode_flag，指示出該內部編碼區塊80是一LSP或ISP編碼區塊，該分區維度旗標114可以另外為該內部編碼的區塊80發送信號。然而，此intra_subpartitions_mode_flag不是不可避免地明顯地發送信號，而是在某些情況下推斷出指示某個分區尺寸104。例如，假如該框內編碼區塊80的寬度超過剛提到的最大變換尺寸(但高度不超過)，則該分區維度104可以强制為水平的，並且假如區塊80的高度大小超過剛提到的最大變換尺寸(但寬度不超過)，則維度104可强制為垂直的。在這兩種情況下，該intra_subpartitions_split_flag都不會在該資料流中外顯地信號發送，而是由該解碼器對應地推斷。如上概述的，可以在該資料流中用信號發送該框內編碼模式116，即，通過使用最可能的內預測模式的一列表，該列表建構在該編碼器與解碼器的一側。對於LIP或ISP框內編碼區塊80，該資料流14可以通過一MPM列表指標用信號發送該框內編碼模式，該指標不可避免地指向可能地內預測模式的該列表，例如，intra_luma_mpm_IDX，在該框內編碼區塊未在ISP方案中編碼的情況下，該指標通過一MPM旗標在資料流14中領先。如果那MPM旗標，例如，稱為intra_luma_mpm_flag，具有某個旗標狀態，而不是進入該最可能的內預測模式列表的該指標，則在資料流中用信號傳送進入內預測模式的一提醒列表的一指標。然而，如上所述，這僅是範例，並且可能內預測模式的該可發信號的集合是可以相同，亦即對於正常編碼的內預測區塊與ISP內預測區塊，僅覆蓋所有支持的內預測模式。例如，對於兩種類型的框內編碼區塊可以發送intra_luma_mpm_flag。可選替地，針對兩種類型的框內編碼區塊發送的該指標可以直接指向支持的內預測模式的一完整列表，而無需任何MPM旗標。如果使用ISP方案將該框內編碼區塊80進行編碼，則分區102/112的數量可以如下定義。特別地，編碼器與解碼器取決於區塊80的尺寸可以確定分區的該數量。沒有信號將耗費在該資料流中。對於小尺寸，該數量可以是兩個，否則分區102/112的該數量是四個。進行該分區的內預測與該資料流中的預測殘差的該編碼的分區順序，假如在一水平方向n14，從該最左邊的分區沿著該分區方向104引導，假如一垂直方向，從該最上面的分區沿著該分區方向104引導，依序地到最遠的分區。也不會為此耗費信號傳送。如上所述，可以按照分區102/112進行該殘差變換。也就是說，每個分區可以分開地轉換。與此相比，在一正常地框內編碼的區塊80的情況下，該變換數量可以取決於框內編碼的區塊80的該尺寸，如下所示：如果該框內編碼的區塊在水平上地與垂直上地小於該上述最大變換尺寸，使用一個變換將該框內編碼的區塊的80個殘差進行編碼，即，對該區塊的80個殘差完全進行一次變換。在水平上地超過該最大變換尺寸的情況下，將該框內編碼的區塊80水平上地分成兩半或一對應數量的變換區塊，使得該一半或該變換區塊滿足該最大變換尺寸，並且區塊80的該殘差在每一半/轉換區塊進行一次轉換。在區塊80垂直上地超過該最大變換尺寸的情況下，這同樣適用。如果在垂直上地與水平上地都超過該最大變換大小，則使用四個或一對應數量的變換在此區塊的四個像限中將區塊80的該殘差或將區塊80的一常規二維細分變換為一對應數量的變換區塊。此外，正常地框內編碼的區塊80的該處理可以不同於LIP或ISP編碼的框內編碼的區塊80的處理，因為正常地框內編碼的區塊是內預測的區塊。也就是說，同樣是未細分的。進一步的差異可能與用於對區塊80的該預測殘差進行編碼的該變換的該編碼有關。對於每個變換，可以傳送一編碼的區塊旗標188，例如tu_cbf_luma，但是對於正常的框內編碼的區塊80，區塊80內的每個變換該旗標可能不可避免地被編碼，區塊80被ISB編碼的並且用於該先前變換的所有先前CBF為零的情況下，此旗標推斷為那個區塊的該最後變換的一個。此外，在一方面，在正常地編碼的區塊80之間以及另一方面在ISP編碼的區塊80之間，每個變換內的該子區塊的該維度的選擇可以不同。細節在上面提出。然而，可替代地，對於正常地框內編碼的區塊與ISP編碼的區塊，可以將變換182細分成子區塊。例如，令log2SbW與log2SbH為子區塊的寬度與高度的該對數對偶，並且log2TbWidth與log2TbHeight分別為該變換的寬度與高度。然後，可以確定該子塊尺寸如下： log2SbW = ( Min( log2TbWidth, log2TbHeight ) > 2  ?  1  :  2 ) log2SbH = log2SbW if ( log2TbWidth > 2  ) { log2SbW = log2TbWidth log2SbH = 4 − log2SbW } else if ( log2TbHeight > 2  ) { log2SbH = log2TbHeight log2SbW = 4 − log2SbH }
上面的僞代碼産生表2說明的的子區塊的尺寸。由於內部編碼的區塊80的固有最小尺寸以及正常地內部的編碼區塊的未細分，可能只是正常地框內編碼的區塊80的4x4係數的子區塊的結果。最後應注意，剛剛概述的範例可能會導致變化尺寸的ISP內預測的區塊，包括僅分成兩個分區102/112的區塊，但無論是否存在這樣的ISP內預測的區塊，有ISP內預測的區塊劃分為兩個以上的分區。
這是下面提出的實施效率改進的實施例的描述的起點。注意，其描述是作為處理某些尺寸的ISP區塊，例如4x4、8x4、4x8區塊，的一種替代方式，同時如上所述處理較大的ISP區塊，但是到目前為止通過傳輸以下基於分區的框內編碼概念到一區塊基礎的編解碼器上而沒有區塊的該ISP處理，甚至可以實現其他替代實施例。
根據實施例，圖12顯示用於對來自一資料流14的一圖片進行基於區塊的解碼的一解碼器20。因此，可以將一預定區塊80進行解碼，從而可以將該預定區塊劃分為子區塊，該子區塊可以理解為變換分區300。該資料流14可以包括一編碼的框內編碼模式116、一編碼的分區維度旗標114及預測殘差的幾個編碼的變換120。例如，針對該預定區塊80用信號發送該框內編碼模式116與分該分區維度旗標114。相反地，例如針對該預定區塊的一單獨變換分區用信號發送一預測殘差的一變換120。
該解碼器20配置為將來自該資料流14的該圖片的該預定區塊80的該分區維度旗標114進行解碼，並根據該分區維度旗標114將一分區維度104設置為水平1041 或垂直1042 。舉例來說，該分區維度104指示沿著由該解碼器20將分割105的該預定區塊80的該方向。
根據一個實施例，該解碼器20配置為使用一上下文的上下文相關的熵解碼將該分區維度旗標114進行解碼，該上下文取決於該框內編碼模式116。根據一個實施例，該解碼器20配置為使用三個上下文的一個的上下文相關的熵解碼將該分區維度旗標114進行解碼，該三種上下文包括用信號發送一非角度模式的該框內編碼模式，用信號發送一水平模式的該框內編碼模式及用信號發送一垂直模式的該框內編碼模式。
舉例來說，如果該分區尺寸1041 是水平的，則該預定區塊80劃分或區分為垂直變換分區3001b 至3006b ，其跨越該預定區塊801 的整個垂直高度。可選替地，如果該分區維度1042 是垂直的，則該預定區塊80被劃分或區分為水平變換分區3001a 至3004a ，其跨越該預定區塊802 的整個水平寬度。換句話說，解碼器配置為沿著該預定維度1041 或1042 將該預定區塊80劃分為多個變換分區。該變換分區300與垂直於該預定維度1041 或1042 的該預定區塊80一樣寬1031 或1032 。例如，該預定維度是該分區尺寸104。
例如，變換分區300的數量大於2及/或該變換分區300沿著該預定維度1041 或1042 是一個取樣寬1011 或1012 。可選替地，該變換分區300可以是沿著該分區維度1041 或1042 的二個以上取樣寬度。
根據一個實施例，該解碼器20配置為取決於沿著該預定維度104的該預定區塊80的一尺寸101a及/或取決於該預定區塊80的該框內編碼模式及/或取決於該預定區塊80的該框內編碼模式116是否為一角度模式，設定沿著該預定尺寸104測量的該變換分區300的一寬度101。
根據一個實施例，例如，將具有寬度𝑊與高度𝐻的一預定區塊80，即𝑊×𝐻維度，在水平上地或垂直上地區分成相等尺寸的𝐾個變換分區，對於一水平分割(沿一垂直分區維度)具有維度𝑊/𝐻×𝐾，對於一垂直分割(沿一水平分區維度)具有該維度𝑊/𝐾×𝐻。
該解碼器20配置為基於與該預定區塊80相鄰的已重建的取樣118、基於一框內編碼模式116以及基於預測殘差的變換120來重建123該預定區塊80。
因此，該解碼器配置為針對每個變換分區將來自該資料流的一預測殘差的一變換120進行解碼。根據一個實施例，該解碼器20配置為通過將來自該資料流的一編碼的變換分區旗標188進行解碼，針對每個分區將來自該資料流的該變換120進行解碼。如果未設定該編碼的變換分區旗標188，則該解碼器20配置為將該各個變換分區300的該預測殘差設定為零，並且如果設置該編碼的變換分區旗標，則該解碼器20配置為將來自該資料流的該各自編換分區的該預測殘差的該變換120的變換係數進行解碼。例如，如果該編碼的變換分區旗標188為零，則不設定一編碼的變換分區旗標188。
根據圖12所示的實施例，對於每個變換分區300，可選地，將該編碼的變換分區旗標188編碼在該資料流14中，基於此，該解碼器20配置為針對一變換分區300將一預測殘差的一變換120進行解碼，或者推斷該預測殘差為零，並且推斷對於此變換分區，沒有變換120必須由解碼器20進行解碼。可選替地，無變換分區旗標188由該解碼器進行解碼，相反地，解碼器配置為針對每個變換分區300直接地將一預測殘差的一變換120進行解碼，或者將整個預定區塊80的一變換進行解碼。
根據一個實施例，該解碼器20配置為依序地將來自該資料流的該變換分區300的該編碼變換分區旗標188進行解碼，並且假如所有先前編碼的變換分區旗標188未設定，則以變換分區順序200推斷用於最後一個變換分區，例如，用於該變換分區3004a 或該變換分區3006b 的該編碼的變換分區旗標188是設定的。
根據一個實施例，該解碼器20配置為通過使用一上下文的上下文相關的熵解碼將來自該資料流14的一各自變換分區，例如，該第二變換分區3002a 或3002b ，的該編碼的變換分區旗標1882 進行解碼。該上下文取決於以該預定的變換分區順序210領先該各自變換分區的一先前變換分區，例如該第一變換分區3001a 或3001b )所解碼的該編碼的變換分區旗標1881 。
此外，該解碼器20配置為將來自該資料流14的該圖片的該預定區塊80的該框內編碼模式116進行解碼。
該解碼器20配置為以取決於該框內編碼模式116的方式根據與該預定區塊80相鄰的一個或多個已經重建的取樣118將該預定區塊80進行內預測122，以獲得該預定區塊80的一預測器。根據一個實施例中，該解碼器20配置為針對每個變換分區300將一預測器進行內預測122。
根據第一選項，通過該解碼器20依序地重建變換分區300。因此，該解碼器配置為對一第一變換分區3001a 或3001b 的一預測器進行內預測1221 ，並使用該第一變換分區3001a 或3001b 解碼的該預測殘差的該變換1201 校正該預測器，然後對一第二變換分區3002a 或3002b 的一預測器進行內預測1222 ，並使用該第二變換分區3002a 或3002b 解碼的該預測殘差的該變換1202 校正該預測器。因此根據圖12所示的該劃分的預定區塊801 與802 ，將區塊802 的該後續變換分區3003a 與3004a 以及區塊801 的後續變換分區3003b 、3004b 、3005b 與3006b 進行內預測及校正。
根據第二種選項，在一個步驟中重建該變換分區300。因此，該解碼器20配置為針對每個變換分區300將來自該資料流14的一預測殘差的一變換120進行解碼，以及針對每個變換分區300，對一預測器進行內預測122。例如，該變換120的該解碼獨立於該內預測而執行。根據一個實施例，在該預定區塊80的該重建123處，該解碼器20對預測殘差的所有變換120進行解碼，並且該解碼器20將所有預測器進行內預測。換句話說，在該預定塊的該重建123處，對於每個變換分區300，是該各個變換分區300所解碼的該預測殘差的一變換，以及是關聯該各個變換分區的一預測器。
根據一個實施例，該解碼器20配置為針對每個變換分區300將該變換120重新變換為空間域，以用於校正該各個變換分區300內的該預測器。換句話說，可以將逆變換應用於一預測殘差的該變換120的變換係數以獲得以獲得空間域中的該預測殘差。
根據一實施例，假如該內預測模式(即，該框內編碼模式116)不是一平面模式，則該變換120是一DCT變換，假如該內預測模式是該平面模式，則該變換是一DST變換，或者該變換是一線性變換，基於該內預測模式、該預定區塊80的區塊尺寸及/或一專用語法元素所選擇的一種類型。因此，例如解碼器配置為基於該框內編碼模式來確定一預測殘差的該變換120的該變換類型。對於上述的重新變換，該解碼器使用例如一逆變換類型。
根據一個實施例，該解碼器20配置為將來自資料流14的該圖片的該預定區塊80的一分割模式旗標160進行解碼。如果該分割模式旗標160指示一第一分割模式，則該解碼器20配置為執行每個變換分區的該分區維度旗標114的該解碼、該劃分105及該變換120的該解碼。如果該分割模式旗標160指示一第二分割模式，則取代每個變換分區的該分區維度旗標114的該解碼、該劃分105及該變換120的該解碼，該解碼器20配置將該預定區塊80內的該預測殘差的一個變換120進行解碼。換句話說，該第一分割模式指示基於變換分區的該預定區塊80的一解碼，該第二分割模式指示對整個預定區塊80的解碼而沒有劃分105。因此，在第二分割模式下，無變換分區被解碼器20使用，並且例如，針對該預定區塊80，沒有分區維度旗標114、沒有編碼的變換分區旗標188以及沒有與一變換分區相關聯的一預測殘差的單獨變換120被編碼在該資料流14中。
圖13顯示用於從該資料流14解碼一變換分區300的該預測殘差的該變換120的實施例，該解碼可以由圖12所示的該解碼器執行。根據實施例，該解碼器20是配置為，針對一預定的變換分區3003a 或3003b (針對沿著一垂直分區維度1042 劃分的一預定區塊802 及針對沿著一水平分區維度1041 劃分的一預定區塊801 顯示的實施例)，通過解碼來自該資料流的一最後位置指示1903 將來進該資料流14的該預定變換分區3003a 或3003b 的該預測殘差進行解碼，該最後位置指示1903 指示沿著一預定掃描順序193的該變換1203 的一最後變換係數位置191，該預定掃描順序193掃描該一維變換1203 的變換係數12031 至12036 的(與該變換分區3003a 相關聯)或12031 至12034 (與該變換分區3003b 相關聯)。另外，該解碼器20配置為通過沿著該預定掃描順序193往上到該最後變換係數位置191將來自該資料流14的該變換1203 的該變換係數12031 到12033 (與該變換分區3003a 相關聯)或12031 到12033 (與該變換分區3003b 相關聯)進行解碼，以及沿著該預定掃描順序193超過該最後變換係數位置191推斷該變換1203 的變換係數12034 到12036 (與該變換分區3003a 相關聯)或12034 (與該變換分區3003b 相關聯)為零，針對該預定變換分區3003a 或3003b ，將來自該資料流14的該預定變換分區3003a 或3003b 的該預測殘差的該變換1203 進行解碼。
根據一個實施例，除了例如關於圖9描述的該編碼的變換分區旗標188之外，該最後位置指示190可以被編碼在該資料流14中。可替代地，僅最後位置指示190被編碼在該資料流14中，而不是該編碼的轉換分區旗標188。
根據一個實施例，該變換分區300沿著該預定維度104是一個取樣寬度，並且該變換120是一個一維變換。
圖14顯示用於將一圖片進行基於區塊的編碼成為一資料流14的一編碼器10的實施例，該編碼器10配置為將該圖片的該預定區塊80的一分區維度旗標114編碼到該資料流14中，該分區維度旗標140用信號發出一分區維度104將被設置為水平的1041 或垂直的1042 。由該編碼器10做出的决定200，是否該預定區塊80應進行劃分，以及如果要將該預定區塊80進行劃分，則應當選擇哪個分區維度104，這取決於例如，針對該圖片的一個或多個先前編碼的區塊，該預定區塊80的該區塊尺寸及/或該編碼器的一個或多個分區決定200。
該編碼器10配置為沿著該預定維度104將該預定區塊80劃分105成與變換分區300，該變換分區300與垂直於該預定維度的該預定區塊80一樣寬。例如，該預定維度是該分區維度104。因此，如果該分區維度1041 是水平的，則該編碼器10配置為執行一垂直分割，如果該分區維度1042 是垂直的，則該編碼器10配置為執行一水平分割。如圖12與圖13中所描述的及/或如關於圖15至圖18所描述，在該解碼器的該上下文中選擇性地執行該劃分。
編碼器10配置為以取決於該框內編碼模式116的方式根據與該預定區塊80相鄰的一個或多個已經重建的取樣118將該預定區塊80進行內預測，以獲得用於該預定區塊80的一預測器。例如，通過一預測級36的一預測模組44執行，該預測級36通過使用一內預測模式116產生一預測信號26。根據一個實施例，該編碼器10配置為分開地將該預定區塊的每個變換分區300執行該內預測。例如，該變換分區300依序地進行內預測、變換28、量化32以及編碼34成資料流14。
根據一個實施例，該編碼器10配置為將該圖片的該預定區塊80的該框內編碼模式116編碼為該資料流14。該編碼器10配置為例如使用該完整的預定區塊80的相同的框內編碼模式116進行編碼，以獲得該預定區塊80的每個變換分區的預測殘差24，可以將其進行變換28、量化32以及編碼34到該資料流14。
該編碼器10配置為針對每個變換分區300將一預測殘差的一變換120編碼成該資料流14，使得該預定區塊80使用該各自變換分區所編碼該預測殘差的該變換120通過校正每個變換分區300內的預測器是可重建的。換句話說，例如，該編碼器10配置為針對每個分區300將在該各個變換分區300的該預測殘差24變換為每個變換分區300的頻譜域，用於校正該各個變換分區300內的該預測器。
根據一個實施例，變換分區的該數量大於2及/或該變換分區沿著該預定維度是一個取樣寬。
根據一個實施例，該編碼器10配置為通過將一編碼的變換分區旗標188編碼到該資料流14，針對每個分區300將該變換120編碼為資料流14。如果未設定該編碼的變換分區旗標188 ，則該編碼的變換分區旗標188用信號發送出該各個變換分區300的該預測殘差24為零，並且如果設定該編碼的變換分區旗標188，則該編碼器配置為將該各個變換分區300的該預測殘差24的該變換120的變換係數編碼成該資料流14。例如，如果該編碼變換分區旗標188為零，則不設定一編碼的變換分區旗標188。
根據一個實施例，該編碼器10配置為按變換分區順序210將該變換分區300的該編碼的變換分區旗標188依序地編碼成資料流14，除了該編碼的變換分區旗標之外，例如，對於一最後位置，針對該垂直分割的該編碼的變換分區旗標1888 或針對該水平分割的該編碼的變換分區旗標1884 ，例如針對該垂直分割的該變換分區3008b 或針對水平分割的該變換分區3004b ，假如所有先前編碼的變換分區旗標，例如針對垂直分割的所有先前編碼的變換分區旗標1881 至1887 或針對水平分割的所有先前編碼的變換分區旗標1881 至1883 未設定，其然後推斷為被設定。
根據一個實施例，該編碼器10配置為通過使用一上下文的上下文相關的熵編碼將一各個變換分區300的該編碼的變換分區旗標188編碼成該資料流14，該上下文取決於一領先變換分區300所編碼的該編碼的變換分區旗標188，該領先變換分區300在該預定的變換分區順序210中領先該各個變換分區300。
根據一個實施例，該編碼器10配置為 通過將一最後位置指示190編碼成該資料流14，該最後位置指示190指示沿著一預定掃描順序的一最後變換係數位置，該預定掃描順序掃描該一維變換的變換係數，針對一預定變換分區300，將該預定分區300的該預測殘差的該變換120編碼120成該資料流14。此外，該編碼器配置為通過沿著該預定掃描順序往上到該最後變換係數位置將該變換的變換係數進行編碼，針對一預定變換分區300將該預定分區的該預測殘差的該變換120編碼成該資料流，其中超出沿著該預定掃描順序的該最後一個變換係數位置的該變換的變換係數為零，推斷為零。如圖13中所述，可以類似地在該解碼器上執行此操作。
舉例來說，該變換分沿著該預定維度104是一個取樣寬，並且該變換是一個一維變換。
例如，假如該內預測模式116不是一平面模式，該變換是一DCT變換，假如該內預測模式116是該平面模式，則該變換是一DST變換。可替代地，該變換是一線性變換，基於該內預測模式116、該預定區塊80的一區塊尺寸及/或一專用語法元素所選擇的一個類型。
根據一個實施例，該編碼器配置為將該圖片的該預定區塊80的一分割模式旗標160編碼成資料流14。如果該分割模式旗標指示第一分割模式，則該編碼器配置為執行該分區維度旗標114的該編碼、針對每個變換分區300的該劃分以及該變換120的該編碼。如果該分割模式旗標指示一第二分割模式，則代替該分區維度旗標114的該編碼、針對每個變換分區300的該劃分以及該變換120的該編碼，該變碼器配置為將該預定區塊內的該預測殘差的一個變換120進行編碼。
根據一個實施例，該編碼器配置為使用一上下文的上下文相關的熵編碼將該分區維度旗標114進行編碼，該上下文取决於該框內編碼模式。
根據一個實施例，該編碼器配置為通過使用三個上下文的一個的上下文相關的熵編碼將該分區維度旗標114進行編碼，該三個上下文包括用信號發送一非角度模式的該框內編碼模式116、用信號發送一垂直模式的該框內編碼模式、用信號發送一垂直模式的該框內編碼模式116。
根據一個實施例，編碼器配置為取決於沿著該預定維度104的該預定區塊80的一尺寸及/或取決於該預定區塊80的該框內編碼116及/或取決於該預定區塊80的該框內編碼模式116是否是一角度模式，設定沿著該預定維度104所測量的該變換分區300的一寬度101。
在下文中，描述將該內子分區(ISP)編碼模式擴展到4×4以及變換4×8與8×4區塊的子分區的數量，並且激發該擴展。為了使最壞情况下的產量保持16個取樣/週期，有一些子分區彼此獨立。實驗結果顯示，對於該AI配置，CTC與F類的增益分別為0.1%與0.47%，而在RA情況下，CTC與F類的增益分別為0.01%與0.25%。在AI情況下，編碼運行時間的影響為102%，在RA情況下為100%。
對於將該ISP概念擴展到産生寬度小於4的子分區的所有ISP塊的影響，提供附加測試結果。實驗結果顯示，對於AI而言，CTC與F類分別的增益分別是0.05%與0.44%，並且在RA案例中，F類的增益為0.24%(CTC不變)。
另一方面，已經測試了完全移除當前ISP設計的寬度小於4的子分區的影響。此附加信息顯示，對於AI配置，CTC與F類損失分別為0.14%與0.31%，在RA情況下，CTC與F類損失分別為0.04%與0.23%。
介紹
如[1]中所述，根據該CU維度，該內子分區(ISP)編碼模式將亮度內預測區塊垂直地或水平地區分為2個或4個相等尺寸的子分區。 表6顯示不同的可能性。表 6: 根據當前 VVC Draft 中的 CU 維度通過 ISP 所創造的子分區的數量
區塊尺寸 子分區的數量
Figure 02_image093
 未區分的
Figure 02_image095
 及
Figure 02_image097
 2
所以其他案例 4
將每個子分區進行預測、變換、量化，並該將熵編碼的係數傳送到該解碼器。然後，一子分區的該重建取樣用於產生下一個子分區的該預測，但是所使用的該內模式在所有子分區之間共享。
由於此過程位於內預測關鍵路徑上(一般情況下，不能解碼一子分區直到已經獲得該先前的子分區重建取樣)，有必要在每個子分區內强制執行最少16個取樣，其確保最壞情況下的產量為16個取樣/週期。事實上這就是為什麼4×8與8×4區塊具有2個子分區(而不是4個)並且無法細分4×4區塊的原因。
以下描述呈現ISP的擴展，允許在4×4區塊上使用，並在4×8與8×4塊的情況下變更子分區的數量，同時保持16個取樣/週期產量約束。可以通過產生彼此獨立的子分區，也就是通過不使用一子分區的該重建取樣來預測下一個分區，可以實現此目標。
例如，針對4×8與8×4區，如以下關於圖15到圖18所描述的一預定區塊18的該劃分與重建可以通過關於圖12與圖13所描述的一解碼器來執行，通過如關於圖14所描述的該編碼器。
注意，隨後在ISP上進行的具體修改的呈現僅表示可能實施例的呈現，並且其變型是容易獲得的。例如，下面第6節提出一個不太複雜或更直接的變異。
ISP 擴展到新的區塊尺寸
在此貢獻中引入的ISP修改會影響4×4、8×4與4×8區塊。
Figure 02_image099
區塊
根據圖15與圖16所示的實施例，該預定區塊80區分成四個4×1(水平分割)或1×4(垂直分割)分區。然而，使用該CU邊界的該相鄰取樣118作為參考取樣來產生成它們中的每一個的該預測信號122。因此，每個子分區(亦即，變換分區300)彼此獨立，並且它們所有都可以在單個步驟中並行處理。換句話說，並且重新使用上面應用的術語，該區塊80沒有劃分或留為一個分區112，並且用於內預測或預測導出的該參考取樣118全部位於區塊80之外。如下所概述的，該劃分是應用基於該變換的殘差編碼。在此，該一個分區12，即該區塊，劃分為變換分區300，每個變換分區分別變換，導致以上面關於資料結構120所述的方式編碼一各自變換182。
圖15a至圖15d顯示一4×4區塊的該垂直分割的一個實施例，亦即，沿著一水平劃分維度的一個劃分。用於產生每個1×4預測的該參考取樣118僅僅是CU邊界取樣。注意，該預測與非ISP情況下的預測相同。
注意，所有變換分區300的該預測取樣與針對一區塊不使用ISP所產生的預測取樣相同(排除針對所有ISP區塊失能的該參考取樣與PDPC過濾操作)。使用ISP的4×4塊與不使用ISP的4×4塊之間的區別在於該變換(在該ISP的情況下有四個一維變換，在該非ISP的情况下只有一單一4×4變換)以及該係數的該熵編碼。
Figure 02_image101
及
Figure 02_image103
區塊
根據如圖17或圖18所示的實施例，改變該ISP設計，使得變換分區300的該數量將是4，子分區1121 與1122 的數量是2。每個子分區1121 與1122 細分為兩個變換分區300。分別使用變換分區1與3的該重建取樣不能產生變換分區2與4的該預測信號122，如圖17或18的實施例所示。因此，變換分區2獨立於變換分區1，並且類似地，變換分區4獨立於3。因此，可以在2個週期內處理4×8或8×4區塊，其等效於16個取樣/週期的產量。附圖針對水平與垂直劃分顯示這個。
圖17顯示一預定區塊80的該垂直分割的一個實施例。該預定區塊80，例如是被劃分為具有M≥8的四個1×M變換分區300的一個4×M區塊、是被劃分為具有N≥4的四個的2×N變換分區300的一8xN區塊或劃分為具有O≥1的四個4×O變換分區300的一個16xO區塊。來自變換分區2的該重建取樣可以用於預測變換分區3，但是來自變換分區1與3的該重建取樣不能分別用於預測2與4。該垂直分割對應於沿著一水平劃分維度的一劃分。
圖18顯示一預定區塊80的該水平分割的一個實施例。例如，該預定區塊80是劃分成具有M≥8的四個Mx1變換區塊的Mx4區塊、劃分成具有N≥4的四個Nx2變換分區300的N×8區塊、或劃分為具有O≥4的4個Ox4變換分區300的一個Ox16區塊。來自變換分區2的該重建取樣可以用於預測變換分區3，但是來自變換分區1與3的該重建取樣不能分別用於預測2與4。該水平分割對應於沿著一垂直劃分維度的一劃分。
如圖17與圖18所示，在此描述的解碼器可以配置為取決於該框內編碼模式的方式根據與該預定區塊80相鄰的一個或多個已經重建的取樣1181 來執行該內預測122該預定區塊80的步驟以獲得預定區塊80的一預測器，以及通過以下步驟執行該重建該預定區塊80的步驟: 通過使用該各個變換分區300所解碼的該預測殘差的該變換校正每個變換分區300內的該預測器，通過依序地重建變換分區的群組以形成一子分區，亦即圖17顯示的1121 與1122 或圖18顯示的1021 與1022 ，該預定區塊80的該變換分區被分組成該變換分區的群組，根據一預定子分區順序126針對變換分區300的每一組，該預定子分區順序126沿著該預定維度104依序地橫跨該子分區102/112，對於一當前子分區，例如圖17所示的該子分區1121 或圖18所示的該子分區1021 ，並在進行後續的子分區之前，例如，圖17顯示的該子分區1121 或圖18顯示的該子分區1022 。該解碼器配置為取決於該框內編碼模式的方式根據與該當前子分區相鄰的一個或多個已經重建的取樣1181 通過填充該當前子分區導出122該當前子分區的一預測器。此外，該解碼器配置為通過校正該群組的變換分區所包含的每個變換分區300內的該預測器重建該當前子分區，該群組的變換分區使用該各自變換分區的變換形成該各自變換分區的該變換。
如圖17與圖18所示，此處描述的編碼器類似於該解碼器，例如，配置為取决於該框內編碼模式的方式根據與該預定區塊80相鄰的一個或多個已經重建的取樣1181 來執行該內預測122該預定區塊80的步驟以獲得預定區塊80的一預測器，以及通過以下步驟執行該重建該預定區塊80的步驟: 通過使用該各個變換分區300所解碼的該預測殘差的該變換校正每個變換分區300內的該預測器，以及通過下列步驟使用針對該各個變換分區待解碼的該預測殘差的該變換決定用於校正每個變換分區內的該預測器的該預定區塊的預測殘差: 依據一預定子分區順序(126)依序地使多個變換分區的多個群組受到一預測以至於以取决於該框內編碼模式的方式依據與該預定區塊相鄰的一個或多個已經重建的取樣通過填充該當前子分區導出一當前子分區的一預測器，該預定子分區順序(126)沿著該預定維度依序地橫貫該子分區，該預定區塊的該多個變換分區被分組成具有多個變換分區的多個群組以針對具有多個變換分區的每一群組形成一子分區，例如圖17顯示的1121 與1122 及圖18顯示的1021 與1022 ，確定由形成當前子分區的該組變換分區所包括的每個變換分區內的該預測殘差的該變換，以至於在進行一後續子分區之前，例如圖17顯示的該子分區1112 或圖18顯示的該子分區1022 ，使用該各個變換分區的該變換通過校正(122)由形成該當前子分區102/112的該組變換分區所包括的每個變換分區內的該預測器重建該當前子分區。
根據圖17與圖18，例如，該解碼器及/或編碼器配置為使用與預該定區塊80相鄰的已經重建的取樣1181 來預測122針對一第一與一第二變換分區300的一預測器，該第一與該第二變換分區被分組形成一第一個子分區，例如圖17顯示的該子分區1121 或圖18顯示的該子分區1021 。為了預測122一預測器，將一第三與第四變換分區300的一起分組以形成一第二子分區，例如圖17所示的子分區1122 或圖18所示的子分區1022 ，該解碼器使用例如與該預定區塊80相鄰的已經重建的取樣1182 及/或與該第三變換分區300相鄰的該第二變換分區的已經重建的取樣1182 。換句話說，為了預測122該第二子分區1122 /1022 的變換分區300的一預測器，該解碼器例如配置為使用與該第二子分區1122 /1022 相鄰的已經重建的取樣1182 ，其中至少一些已經重建的取樣可以與一先前子分區的已經重建的取樣相關聯，例如圖17所示的子分區1121 或圖18所示的子分區1021 。
根據一個實施例，預定區塊80的子分區順序地重建或編碼。換句話說，一第一子分區例如根據圖17的該子分區1121 或根據圖18的該子分區1021 ，在一第一周期中重建或編碼，然後一第二子分區，例如根據圖17的該子分區1122 或根據圖18的該子分區1022 ，在一第二週期中重建或編碼。因此，同樣子分區的所有變換分區都在同一周期中重建或編碼。換句話說，可以並行地重建或編碼與相同子分區關聯的變換分區。因此，根據一個實施例，由於所有變換分區300是並行重建的，因此圖15或圖16中的該完整的預定區塊80可以被理解為一個分區(即，子分區)。
根據一個實施例，該解碼器及/或該編碼器被配置為使得每個子分區102/112的變換分區300的數量取決於該預定區塊80的維度。
根據一個實施例，該解碼器及/或該編碼器被配置為使得假如該預定區塊80的維度超過一預定門檻，則每個子分區102/112的變換分區300的該數量是一個，以及假如該預定區塊80的維度不超過該預定門檻，則該數量大於一個。如果該預定塊超過某個維度，則有利的是避免進一步區分子分區以增強該解碼運行時間或該編碼運行時間。換言之，ISP的使用限制該預定區塊80的維度不超過該預定閾值。
根據一個實施例，該解碼器及/或該編碼器配置為使得在該預定區塊中的子分區102/112的一數量取決於該預定塊的維度及/或該預定維度。
根據一個實施例，該解碼器及/或編碼器配置為使得 假如該預定區塊80的維度低於該另一預定門檻，則在該預定區塊80的子分區102/112的數量是一個。例如確定該另一預定門檻使得該預定區塊80包括至少16個取樣。例如，該另一預定門檻是該預定區塊80的一維度，大於4×4取樣、8×2取樣、2×8取樣、1×16或16×1取樣。在4×4取樣的情況下，如圖15或圖16所示，該預定區塊80包括例如具有4個1×4變換分區或4個4×1變換分區的1個子分區。在2x8取樣的情況下，該預定區塊80包括例如具有2個1x8變換分區的1個子分區，並且在8x2取樣的情況下，該預定區塊80例如包括具有2個8x1變換分區的1個子分區。在預定的塊尺寸為1x16或16x1取樣的情況下，整個塊同時是一子分區與一變換分區。如果該預定區塊80僅包括一個子分區，則此子分區例如等於整個預定區塊80。可替換地，如圖17與圖18所示，該預定區塊80的一較大維度產生包含2個或更多變換分區的2個或更多子分區。
根據一個實施例，該解碼器及/或該編碼器配置為使得在該預定塊中的子分區的一數量，取決於該預定區塊的維度，在於:在該預定區塊的該維度假設一第一寬度與一高度的情況下，則等於一第一數量，該預定區塊的該維度假設假設一第二寬度等於該第一高度及一第二高度等於該第一寬度，則等於不同於該第一數量的一第二數量。如圖15至圖18所示，相較於具有同樣寬度但不同高度的區塊，子分區的該數量不同於具有同樣寬度與高度的區塊。例如，具有4×4維度的一預定區塊80不被區分，亦即，整個塊表示具有4個變換分區的一個分區(即，子分區)。相反地，具有4×8維度或8×4維度的一預定區塊被區分成兩個子分區。這也適用於較大的區塊。例如，具有128×128維度的一預定區塊80不被分割，但是具有128×64維度的一預定區塊80垂直地(沿著一水平分區維度)分割為4個子分區。
實驗結果
根據常見的測試條件[2]，使用VTM-4.0.1軟體針對僅內部(intra-only,AI)、隨機存取(random-access,RA)與低延遲b(low-delay-b,LDB)配置評估提出的方法。在具有Linux OS與GCC 7.2.1編譯器的Intel Xeon叢集(E5-2697A v4，AVX2打開，turbo boost關閉)上進行對應的模擬。表 7: AI 配置的結果
全內部 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 -0.03% 0.03% 0.05% 102% 100%
A2級 -0.01% -0.03% 0.02% 101% 101%
B級 -0.05% -0.05% -0.13% 102% 101%
C級 -0.22% -0.14% -0.20% 102% 103%
E級 -0.19% -0.13% -0.11% 102% 100%
總體 -0.10% -0.07% -0.09% 102% 101%
D級 -0.22% -0.20% -0.22% 102% 103%
F級 -0.47% -0.44% -0.32% 102% 103%
表 8: RA 配置的結果
隨機存取 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 0.00% 0.02% 0.05% 100% 100%
A2級 0.01% 0.08% -0.07% 100% 100%
B級 -0.01% 0.10% 0.00% 100% 100%
C級 -0.04% 0.11% 0.15% 100% 102%
E級        
總體 -0.01% 0.08% 0.04% 100% 100%
D級 -0.10% -0.20% -0.07% 100% 100%
F級 -0.25% -0.07% -0.23% 100% 100%
表 9: LDB 配置的結果
低延遲 b Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級          
A2級        
B級 -0.02% 0.10% -0.43% 100% 100%
C級 0.03% -0.15% -0.26% 100% 102%
E級 -0.04% -1.21% -1.07% 99% 100%
總體 -0.01% -0.31% -0.53% 100% 101%
D級 0.01% -0.44% -0.19% 101% 100%
F級 -0.04% 0.22% 0.22% 100% 101%
附加資訊
寬度小於 4 的子分區的使用
在JVET反射器上已提到使用寬度小於4的子分區作為潛在的硬體考量，因為通常以光柵掃描儀方式分配取樣，並且某些實現將重建取樣的該輸出以4×1群組寫入。 因此，例如，1xN或2xN子分區可能會導致問題。來自1xN子分區的預測並不是一個大問題，寫出1xN子分區資料是一個問題，因為通常每個週期水平地將資料寫出4或8個取樣。為了使其工作，有必要保留一個4xN中間緩衝區(暫存器)來儲存該資料，然後寫入例如一次4個取樣到記憶體中(例如解區塊)。在讀取用於重建的1xN逆變換輸出時，會發生相同的問題。這增加等待時間，並且可能還需要雙重緩衝。因此，以下提供附加信息以評估使用這些子分區的影響。
移除具有寬度小於 4 的子分區
此變更影響
Figure 02_image105
與
Figure 02_image107
區塊的垂直分割，如下所示：
Figure 02_image105
：不再有垂直分割，即沿著一水平分區維度。因此，每當ISP用在這些區塊之一上面時，該解碼器或該編碼器推斷出使用一水平分割，因此沒必要解析該分割旗標語法元素。因此，例如使用4x1變換分區代替1xN變換分區。
Figure 02_image107
：該垂直分割產生2個子分區而不是4個。因此，該預定區塊80例如被區分為4×N個子分區而不是1×N或2×N個子分區。
請注意，在[1]中此變更的ISP方法在2019年1月Marrakech會議的CE3的中提出作為測試1.1.2。表10、表11及表12中顯示此方法在VTM-4.0.1上的結果。表 10: 用於 AI 配置沒有子分區而寬度小於 4 的結果
全內部 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 0.01% 0.00% -0.03% 100% 99%
A2級 0.01% -0.04% -0.01% 99% 102%
B級 0.06% 0.08% 0.09% 99% 100%
C級 0.21% 0.21% 0.18% 99% 100%
E級 0.42% 0.35% 0.26% 99% 98%
總體 0.14% 0.12% 0.10% 99% 100%
D級 0.25% 0.28% 0.12% 99% 100%
F級 0.31% 0.16% 0.22% 100% 100%
表 11: 用於 RA 配置沒有子分區而寬度小於 4 的結果
隨機存取 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 -0.01% -0.09% -0.06% 101% 101%
A2級 0.04% -0.04% 0.05% 101% 101%
B級 0.03% 0.26% 0.10% 100% 100%
C級 0.09% 0.27% 0.42% 100% 100%
E級        
總體 0.04% 0.13% 0.14% 100% 100%
D級 0.13% 0.13% -0.19% 100% 101%
F級 0.23% 0.13% 0.17% 100% 99%
表 12: 用於 LDB 配置沒有子分區而寬度小於 4 的結果
低延遲 B Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級          
A2級        
B級 0.04% 0.22% -0.36% 100% 100%
C級 0.00% -0.26% -0.20% 100% 102%
E級 0.03% -0.84% 0.29% 100% 101%
總體 0.02% -0.20% -0.14% 100% 101%
D級 0.01% 0.69% -0.58% 100% 100%
F級 0.14% 0.42% 0.17% 101% 102%
用獨立的子分區方法將 ISP 擴展到具有寬度小於 4 的多個子分區
在這種情況下，具有寬度小於4的子分區不會從ISP結構中移除。 取而代之的是，針對 4×4、8×4與4×8的相同的設計如同第2節介紹的設計被應用於它們。可區分兩種不同的案例： 4×N區塊的該垂直分割與第2.1節中說明的4×4的垂直分割用相同方式處理。例如，可以將4×32區塊垂直地區分為形成一個分區112的四個獨立的1×32變換分區300。 8×N區塊的該垂直分割與第2.2節中說明的8×4塊的垂直分割用相同方式處理。 例如，可以將8×16塊區分為四個2×16變換分區300，其中變換分區1與2形成分區1121 以及變換分區3與4形成分區1122 ，而變換分區2與4不能 分別使用變換分區1與3的該重建取樣去產生其相應的預測信號。
該方法允許在所有垂直分割的案例中以至少4×4個取樣的多個群組寫入重建取樣(在該水平分割的情況下，該最小值仍為16×1)。表13、表14及表15呈現VTM4.0.1上的此方法 (在4×4、4×8、8×4以及4×N與8×N區塊的垂直分割上使用獨立的變換分區)的結果。
因此，根據一個實施例，該解碼器配置為將該預定區塊區分為具有M≥1的16×M個子區塊，或者可替換地區分為具有N≥4的4×N個子區塊或N×4個子區塊。 如上所述，此子區塊可選擇性地劃分為2個或更多個較小的變換分區。表 13: 在 AI 配置的 4×4 、 4×8 、 8×4 以及 4×N 與 8×N 區塊的垂直分割上使用獨立的變換分區的結果
全內部 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 0.00% 0.04% 0.02% 101% 101%
A2級 0.01% -0.04% 0.00% 101% 101%
B級 -0.02% 0.06% -0.01% 101% 101%
C級 -0.13% -0.05% 0.00% 101% 102%
E級 -0.08% -0.01% -0.07% 101% 99%
總體 -0.05% 0.00% -0.01% 101% 101%
D級 -0.19% -0.10% -0.11% 101% 102%
F級 -0.44% -0.41% -0.27% 101% 103%
表 14: 在 RA 配置的 4×4 、 4×8 、 8×4 以及 4×N 與 8×N 區塊的垂直分割上使用獨立的變換分區的結果
隨機存取 Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級 0.01% -0.08% 0.09% 101% 100%
A2級 0.02% 0.15% 0.01% 101% 101%
B級 0.00% 0.22% 0.16% 100% 99%
C級 -0.04% 0.20% 0.32% 100% 102%
E級        
總體 0.00% 0.14% 0.16% 100% 100%
D級 -0.04% -0.03% -0.23% 100% 100%
F級 -0.24% -0.18% -0.36% 100% 100%
表 15: 在 LDB 配置的 4×4 、 4×8 、 8×4 以及 4×N 與 8×N 區塊的垂直分割上使用獨立的變換分區的結果
低延遲 B Main10
Over VTM-4.0.1
Y U V EncT DecT
A1級          
A2級        
B級 -0.01% 0.11% -0.36% 100% 100%
C級 -0.01% -0.36% -0.34% 100% 102%
E級 -0.03% -0.23% 0.18% 100% 101%
總體 -0.02% -0.13% -0.22% 100% 101%
D級 0.00% 0.68% -0.21% 100% 101%
F級 -0.09% 0.60% -0.05% 100% 101%
結論
報告的結果顯示在編碼運行中具有非常小(AI)或無影響(RA與LDB)的CTC與F類的增益。
關於所呈現的附加信息，實驗結果顯示，移除寬度小於4的該子分區產生明顯的損失，尤其是在所有配置中的AI與F級中的C級與E級的情況下。 此外，這種損失導致編碼運行時間微不足道的減少。另一方面，考慮到BD-Rate增益，將該新ISP設計擴展到產生具有寬度小於4的子分區的多個區塊相較於完全移除這些子分區具有較好性能。假定沒有產生任何損失，並且在F類中產生可觀的增益，對編碼運行時間的影響很小。
SP 分區結構複雜性降低層面
如上所述，存在上面概述觀念的變型，這裡存在一個變型。如上所概述的，在典型的解碼器硬體實現中，影響頂層系統管線的最關鍵層面之一是處理的依附性。在ISP的案例中，由於VVC中最小的亮度區塊具有4x4維度，即16個取樣，所以就產量來看，最少16個取樣約束可確保內預測中呈現的環內依附性不成問題。
但是，ISP在該VVC設計中引入非常窄的新形狀，亦即1xN、2xN、Mx2與Mx1。在1xN與2xN子分區的情況下，該處理依附性可能會成為問題，假設像素通常用以4x1的分組存取多個取樣的光柵掃描的方式在內部管綫緩衝記憶體中分配。因此，對於寬度小於4的所有子分區，填充此緩衝區是無效的。此問題的影響可以通過其他硬體實現(例如，變更像素的分配方式或使用轉置記憶體)來減輕，但是無論如何，這仍然暗示著硬體實現複雜性的增加。
圖19a與圖19b顯示針對一預定區塊80的不同區塊尺寸的不同子分區112/P與變換分區300/T的範例，其中左側的範例顯示一習知的劃分，並且右側的範例顯示根據此處描述的發明提議的分區。在圖19a的右側的該預定區塊80的該解碼及/或編碼可以類似地執行或如在圖15a至圖15d中所描述，以及在圖19a的右側的該預定區塊80的該解碼及/或編碼可以類似地執行或如圖17所描述的。
為了降低硬體實現的複雜性，建立了最小預測寬度4(該變換尺寸保持不變)。這會在以下方式影響4xM(具有M> 4)及8xN(具有N> 4)區塊的該垂直分割：4xM : 如圖1a所示，像一非ISP區塊一樣，立即預測整個區塊，並且計算出一4xM殘差信號。然後，將該殘差分為四個獨立處理的1xM(或對於M=8的兩個2x8)轉換子分區。8xN : 如圖1b所示，該區塊區分為兩個4xN預測子分區P1與P2。在計算出對P1的該預測後，產生一個4xN的殘差信號並且區分為兩個獨立地處理的2xN的變換子分區T1與T2。然後，類似地對於P2，T3與T4重複相同的處理。但是，在這種情況下，該預測信號可以使用P1區域的重建取樣。
參考文獻
 
[1] S. De-Luxán-Hernández, V. George, J. Ma, T. Nguyen, H. Schwarz, D. Marpe and T. Wiegand, "CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)," inDocument JVET-M0102 , Marrakech, MA, 2019.
[2] F. Bossen, J. Boyce, X. Li, V. Seregin and K. Sühring, "JVET common test conditions and software reference configurations for SDR video," Document JVET-M1010, Marrakech, MA, 2019.
儘管已經在設備的上下文中描述一些層面，但是很明顯，這些層面也代表對應方法的描述，其中區塊或裝置對應於方法步驟或方法步驟的特徵。類似地，在方法步驟的上下文中描述的層面也表示對對應設備的對應區塊或項目或特徵的描述。方法步驟中的一些或全部可以通過(或使用)硬體設備，例如，微處理器，可程式化電腦或電子電路)執行。在一些實施例中，最重要的方法步驟中的一個或多個可以通過這樣的設備執行。
本發明的資料流可以儲存在數位儲存媒體上，或者可以在傳輸媒體上如無線傳輸媒體或有線傳輸媒體如網際網路上傳輸。
取決於某些實施要求，本發明的實施例可以在硬體或軟體中實施。可以使用數位儲存媒體執行該實施方法，例如軟碟、DVD、CD、ROM、PROM、EPROM、EEPROM或FLASH記憶體，其上儲存電子可讀控制信號，這些信號可以與一可程式化電腦系統協作(或能夠協作)，使得執行各自的方法。因此，數位儲存媒體可以是電腦可讀取的。
根據本發明的一些實施例包括具有電子可讀控制信號的資料載體，該電子可讀控制信號能够與可程式化電腦系統協作，使得執行在此描述的方法之一。
通常，本發明的實施例可以實現為具有程式碼的電腦程式產品，當電腦程式產品在電腦上運行時，該程式碼是可運作於執行多種方法的一種。程式碼可以例如儲存在機器可讀載體上。
其他實施例包括儲存在機器可讀載體上，用於執行在此描述的方法之一的電腦程式。
換句話說，因此，本發明方法的實施例是一種電腦程式，該電腦程式具有當電腦程式在電腦上運行時用於執行在此描述的方法之一的程式碼。
因此，本發明方法的另一實施例是一種資料載體(或數位儲存媒體，或電腦可讀媒體)，該資料載體包括記錄在其上用於執行在此描述的方法之一的電腦程式。資料載體、數位儲存媒體或記錄媒體通常是有形的及/或非暫態的。
因此，本發明方法的另一實施例是代表該電腦程式的資料流或信號序列，該電腦程式用於執行在此描述的方法之一。資料流或信號序列可以例如配置為經由資料通信連接，例如經由網際網路來傳輸。
另一實施例包括處理裝置，例如電腦或可程式化邏輯裝置，配置為或適於執行在此描述的方法之一。
另一實施例包括一種電腦，該電腦上安裝用於執行在此描述的方法之一的電腦程式。
根據本發明的另一實施例包括一種設備或系統，該設備或系統配置為(例如，電子地光學地)將用於執行在此描述的方法之一的電腦程式傳送到接收器。接收器可以是例如電腦、行動裝置、儲存裝置等。該裝置或系統可以例如包括用於將電腦程式傳送到接收器的檔案伺服器。
在一些實施例中，可程式化邏輯裝置(例如現場可程式化邏輯閘陣列)可能用於執行在此描述的方法的一些或全部功能。在一些實施例中，現場可程式化邏輯閘陣列可能與微處理器協作以執行在此描述的方法之一。通常，該方法較佳地由任何硬體設備執行。
可以使用硬體設備，或使用電腦，或使用硬體設備與電腦的組合來實現在此描述的設備。
在此描述的裝置或在此描述的裝置的任何組件可以至少部分地以硬體及/或軟體來實現。
可以使用硬體裝置，或使用電腦，或使用硬體裝置與電腦的組合來執行在此描述的方法。
在此描述的方法或在此描述的裝置的任何組件可以至少部分地通過硬體及/或軟體執行。
上面描述的實施例僅用於說明本發明的原理。 應當理解，在此描述的設置與細節的修改及變化對於本領域的熟此技藝者將是顯而易見的。因此，本發明的意圖僅由即將來臨的申請請求項的範圍限制，而不受通過在此的實施例的描述與解釋所呈現的具體細節的限制。
10:設備 12:圖片 14:資料流 20:解碼器 22:殘差信號形成器 26:預測信號 28:變換器 32:量化器 34、50:熵編碼器 38、82:解量化器 40、54:逆變換器 42、56:組合器 44、58:預測模組 80:編碼區塊 82:畫面間編碼區塊 84:變換區塊 100:水平分割 102:分區 104:劃分方向 105:劃分 110:垂直分割 112:分區 114:分區維度旗標 116:框內編碼模式 118:重建的取樣 120:預測殘差 122:內預測 123:重建 126:預定子分區順序 128:取樣 130:平均距離 132:角度或方向 134:取樣 160:分區旗標 180、182:變換 184:逆變換 186:變換係數 188:區塊旗標CBF 190:最後位置LP 196:DC係數 198:係數資料 210:變換分區順序 300:變換分區
下面結合附圖描述本申請的較佳實施例，其中： 圖1顯示用於預測性的編碼圖片的設備的方塊圖，該設備作為可以實現ISP概念的編碼器的範例； 圖2顯示用於預測性的編碼圖片的設備的方塊圖，該方塊圖適用於圖1的設備，該設備作為可以實現ISP概念的編碼器的範例； 圖3是顯示一示意圖，該示意圖說明預測殘差信號、預測信號與重建信號之間的關係的範例，以分別說明設置用於編碼模式選擇、變換選擇與變換性能的細分的可能性； 圖4顯示根據ISP變型說明框內編碼區塊的分割處理的示意圖，該ISP變型允許不同的分區維度，亦即水平與垂直分割之間的選擇； 圖5顯示了說明ISP編碼區塊的多個分區的順序處理的示意圖； 圖6顯示了說明分區的填充過程的預測導出的示意圖； 圖7分別根據水平與垂直區分模式說明ISP區塊區分的範例，並且分別具有與之相關聯的兩個不同的內預測模式，以說明在與內預測區塊關聯的內預測模式上的分區順序的渲染相關確定的可能性； 圖8顯示一示意圖，該示意圖說明使用分區選項處理的內預測區塊80所耗費的可能信號化； 圖9顯示一示意圖，該示意圖說明傳送分區的預測殘差的可能方式。 圖10顯示一示意圖，該示意圖說明與內預測模式的分區有關的編碼成本的部分總和確定，以在很明顯不會比任何正常內預測模式更好時能夠中止測試；以及 圖11顯示為了執行分區模式測試的編碼器的模式或操作的流程圖；以及 圖12顯示一示意圖，該示意圖說明用於實現具有本發明的ISP概念的圖片的基於區塊解碼的解碼器； 圖13顯示了說明最後位置語法元素的用法的示意圖； 圖14顯示一示意圖，該示意圖說明用於實現具有本發明的ISP概念的圖片的基於區塊編碼的編碼器； 圖15a-15d顯示了說明垂直分割的4x4區塊的各個變換分區的內預測的示意圖； 圖16a-16d顯示了說明水平分割的4x4塊的各個變換分區的內預測的示意圖； 圖17顯示了說明垂直分割的4×8塊的各個變換分區的內預測的示意圖； 圖18顯示了說明水平分割的4×8塊的各個變換分區的內預測的示意圖； 圖19a顯示了VVC Draft 5(左)與建議版本(右)中的ISP設計中4xM區塊(M>8)的垂直分割；以及 圖19b顯示了VVC Draft 5(左)與建議版本(右)中的ISP設計中8xN區塊(N>4)的垂直分割。 附圖不一定按比例繪製，反而是通常將重點放在說明本發明的原理上。
14:資料流
20:解碼器
80:編碼區塊
114:分區維度旗標
116:框內編碼模式
118:重建的取樣
120:預測殘差
122:內預測
123:重建
160:分區旗標
188:區塊旗標CBF
105:劃分
300:變換分區

Claims (40)

  1. 一種將來自一資料流(14)的一圖片(12)進行基於區塊解碼的解碼器，配置為執行以下步驟：解碼來自該資料流(14)的該圖片的一預定區塊(18)的一框內編碼模式(116)；解碼來自該資料流的圖片的該預定區塊的一分區維度旗標(114)，並且根據該分區維度旗標設定一分區維度(104)為水平或垂直；沿著該預定維度(104)將該預定區塊(80)劃分為變換分區，該變換分區與垂直於預定維度的該預定區塊一樣寬；針對每個變換分區，解碼來自該資料流的一預測殘差的一變換(182)；取決該框內編碼模式的一方式根據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器；以及通過使用針對該各個變換分區所解碼的該預測殘差的該變換來校正(122)每個變換分區內的該預測器以重建該預定區塊；其中該解碼器配置為通過下列步驟執行該以取決於該框內編碼模式的一方式根據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器以及通過使用針對該各個變換分區所解碼的該預測殘差的該變換來校正(122)每個變換分區內的該預測器以重建該預定區塊之步驟：針對一當前子分區以及在繼續進行一後續子分區前，通過下列步驟依據一預定子分區順序(126)依序地重建多個變換分區的多個群組，該預定子分區順序(126)沿著該預定維度依序地橫貫該子分區，該預定區塊的該多個 變換分區被分組成具有多個變換分區的多個群組以針對具有多個變換分區的每一群組形成一子分區(102；112)；根據該框內編碼模式根據以一方式與該當前子分區相鄰的一個或多個已經重建的取樣通過填充該當前子分區來推導(122)該當前子分區的一預測器；通過校正(122)該組變換分區所包含的每個變換分區內的該預測器來重建當前子分區，該組變換分區形成利用該各個變換分區的該變換的該當前子分區。
  2. 如申請專利範圍第1項之解碼器，其中，該變換分區的數量大於2及/或該變換分區是沿著該預定維度上的一個取樣寬度。
  3. 如申請專利範圍第1項之解碼器，其中，該解碼器配置為針對每個變換分區將該變換重新變換為空間域，以用於校正該各個變換分區內的該預測器。
  4. 如申請專利範圍第1項之解碼器，其中，該解碼器配置為通過解碼來自該資料流的一編碼的變換分區旗標(188)，針對每個分區，解碼來自該資料流的該變換；假如未設定該編碼的變換分區旗標，則將該各個變換分區的該預測殘差設定為零，以及假如設定該編碼的變換分區旗標，則解碼來自該資料流的該各個變換分區的該預測殘差的該變換的多個變換係數。
  5. 如申請專利範圍第4項之解碼器，配置為依序地解碼來自該資料流的該變換分區的該編碼的變換分區旗標，並且假如未設置所有先前編碼的變換分區旗標，則推斷該變換分區順序中的一最後變換分區的該編碼的變換分區旗標是設定的。
  6. 如申請專利範圍第5項之解碼器，配置通過使用上下文相關(context-dependent)的熵解碼來解碼來自該資料流的一各個變換分區的該編碼的變換分區旗標，該上下文相關的熵解碼使用取決一先前變換分區所解碼的該編碼的變換分區旗標的一上下文，該先前變換分區在該預定的變換分區順序上領先該各個變換分區。
  7. 如申請專利範圍第1項之解碼器，其中，該解碼器配置為通過下列方法步驟針對一預定變換分區，解碼來自該資料流的該預定分區的該預測殘差的該變換：解碼來自該資料流的一最後位置指示(190)，該最後位置指示沿著一預定掃描順序的該變換的一最後變換係數位置，該掃描順序掃描該一維變換的變換係數；以及解碼來自該資料流的該變換的變換係數(198)直到沿著該預定掃描順序的該最後的變換係數位置，並且推斷超出沿著該預定掃描順序的該最後變換係數位置的該變換的變換係數為零。
  8. 如申請專利範圍第7項之解碼器，其中，該變換分區是沿著該預定維度的一個取樣寬度，並且該變換是一一維變換。
  9. 如申請專利範圍第1項的之解碼器，其中假如該內預測模式不是一平面模式，則該變換是一DCT變換，以及假如該內預測模式是該平面模式，則該變換是一DST變換，或者該變換是一線性變換，該線性變換的一類型是基於該內預測模式、該預定區塊的一區塊尺寸及/或一專用語法元件所選擇的。
  10. 如申請專利範圍第1項之解碼器，配置為解碼來自該資料流的該圖片的該預定區塊的一分割模式旗標(160)； 假如該分割模式旗標指示一第一分割模式，則執行該解碼該分區維度旗標、該分區以及每一變換分區的該變換的該解碼的步驟；假如該分割模式旗標指示一第二分割模式，則代替該解碼該分區維度旗標、該分區以及每一變換分區的該變換的該解碼的步驟，解碼該預定區塊內的該預測殘差的一變換。
  11. 如申請專利範圍第1項的之解碼器，配置為通過使用一上下文的上下文相關的熵解碼來解碼該分區維度旗標(114)，該上下文取决於該框內編碼模式。
  12. 如申請專利範圍第1項的之解碼器，配置為通過使用上下文相關的熵解碼來解碼該分區維度旗標(114)，該上下文相關的熵解碼使用下列三個上下文的一個，該三個上下文包括：用信號發送(signal)一非角度模式的該框內編碼模式、用信號發送一垂直模式的該框內編碼模式、用信號發送垂直模式的該框內編碼模式。
  13. 如申請專利範圍第1項之解碼器，配置為根據沿著預定維度(104)的該預定區塊(80)的一尺寸及/或根據該預定區塊的該框內編碼模式及/或根據該預定區塊的該框內編碼模式是否為一角度模式，設定沿著該預定維度(104)測量的該變換分區的一寬度。
  14. 如申請專利範圍第1項之解碼器，配置為使得每個子分區的變換分區(300)的一數量取決於該預定區塊的維度。
  15. 如申請專利範圍第14項之解碼器，配置為使得假如該預定區塊的維度超過一預定門檻則每個子分區的變換分區(300)的該數量為 一，以及假如該預定區塊的維度未超過一預定門檻則每個子分區的變換分區(300)的該數量大於一。
  16. 如申請專利範圍第1項之解碼器，配置為使得該預定區塊中的子分區的一數量取決於該預定區塊的維度及/或該預定維度(104)。
  17. 如申請專利範圍第16項之解碼器，配置為使得假如該預定區塊的維度降到低於一另一預定門檻則該預定區塊中的子分區(300)的該數量為一，以及假如該預定區塊的維度不降到低於該另一預定門檻則該預定區塊內的子分區(300)的該數量大於一。
  18. 如申請專利範圍第16項之解碼器，配置為使得該預定區塊中的子分區的一數量取決於該預定區塊的維度在於：假如該預定區塊的該維度假定為一第一寬度與第一高度則子分區的該數量等於一第一數量，以及假如該預定區塊的該維度假定為一第二寬度等於該第一高度並且第二高度等於該第一寬度則子分區的該數量等於不同於該第一數量的一第二數量。
  19. 一種將一圖片(12)進行基於區塊的編碼成為一資料流(14)的編碼器，配置為執行以下步驟：編碼來自該資料流(14)的該圖片的一預定區塊(18)的一框內編碼模式(116)；編碼來自該資料流的圖片的該預定區塊的一分區維度旗標(114)，並且根據該分區維度旗標設定一分區維度(104)為水平或垂直；沿著該預定維度(104)將該預定區塊(80)劃分為變換分區，該變換分區與垂直於預定維度的該預定區塊一樣寬； 針對每個變換分區，編碼來自該資料流的一預測殘差的一變換(182)；以取決於該框內編碼模式的一方式依據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器；以及使用針對該各個變換分區所編碼的該預測殘差的該變換通過校正(122)每個變換分區內的該預測器重建該預定區塊；其中該編碼器配置為執行該以取決於該框內編碼模式的一方式依據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器之步驟以及通過下列步驟使用針對該各個變換分區待解碼的該預測殘差的該變換決定用於校正(122)每個變換分區內的該預測器的該預定區塊的預測殘差：依據一預定子分區順序(126)依序地使多個變換分區的多個群組受到一預測以至於以取決於該框內編碼模式的方式依據與該預定區塊相鄰的一個或多個已經重建的取樣通過填充一當前子分區推導該當前子分區的一預測器，該預定子分區順序(126)沿著該預定維度依序地橫貫該子分區，該預定區塊的該多個變換分區被分組成具有多個變換分區的多個群組以針對具有多個變換分區的每一群組形成一子分區(102；112)，確定由形成當前子分區的該組變換分區所包括的每個變換分區內的該預測殘差的該變換，以至於在進行一後續子分區之前，使用該各個變換分區的該變換通過校正(122)由形成當前子分區的該組變換分區所包括的每個變換分區內的該預測器重建該當前子分區。
  20. 如申請專利範圍第19項之編碼器，配置為使得該變換分區的數量大於2及/或該變換分區是沿著該預定維度上的一個取樣寬度。
  21. 如申請專利範圍第19項之編碼器，配置為針對每個變換分區變換該各個分區中的該預測殘差為頻譜域，以用於校正該各個變換分區內的該預測器。
  22. 如申請專利範圍第19項之編碼器，其中該編碼器配置為通過編碼來自該資料流的一編碼的變換分區旗標(188)，針對每個分區，解碼來自該資料流的該變換；其中假如未設定該編碼的變換分區旗標，則該編碼的變換分區旗標(188)表示該各個變換分區的該預測殘差為零，以及假如設定該編碼的變換分區旗標，則該編碼器配置為將該各個變換分區的該預測殘差的該變換的多個變換係數編碼為該資料流。
  23. 如申請專利範圍第22項之編碼器，配置為除了變換分區順序中的一最後變換分區的該編碼變換分區之外，將該變換分區的該編碼變換分區旗標依序地編碼為該資料流，假如未設定所有先前編碼的變換分區旗標，則推斷為是設定的。
  24. 如申請專利範圍第23項之編碼器，配置為通過使用上下文相關的熵編碼將一各個變換分區的該編碼的變換分區旗標編碼為該資料流，該上下文相關的熵編碼使用取决一先前變換分區所編碼的該編碼的變換分區旗標的一上下文，該先前變換分區在該預定的變換分區順序上領先該各個變換分區。
  25. 如申請專利範圍第19項之編碼器，配置為通過下列方法步驟針對一預定變換分區，將該預定分區的該預測殘差的該變換編碼為該資料流： 將一最後位置指示(190)編碼成該資料流，該最後位置指示沿著一預定掃描順序的該變換的一最後變換係數位置，該掃描順序掃描該一維變換的變換係數；以及從該資料流解碼該變換的變換係數(198)直到沿著該預定掃描順序的該最後的變換係數位置，其中推斷超出沿著該預定掃描順序的該最後變換係數位置的該變換的變換係數為零。
  26. 如申請專利範圍第25項之編碼器，其中，該變換分區是沿著該預定維度的一個取樣寬度，並且該變換是一一維變換。
  27. 如申請專利範圍第19項之編碼器，其中假如該內預測模式不是一平面模式，則該變換是一DCT變換，以及假如該內預測模式是該平面模式，則該變換是一DST變換，或者該變換是一線性變換，該線性變換的一類型是基於該內預測模式、該預定區塊的一區塊尺寸及/或一專用語法元件所選擇的。
  28. 如申請專利範圍第19項之編碼器，配置為將該圖片的該預定區塊的一分割模式旗標(160)編碼為該資料流；假如該分割模式旗標指示一第一分割模式，則執行該編碼該分區維度旗標、該分區以及每一變換分區的該變換的該編碼的步驟；假如該分割模式旗標指示一第二分割模式，則代替該編碼該分區維度旗標、該分區以及每一變換分區的該變換的該解碼的步驟，編碼該預定區塊內的該預測殘差的一變換。
  29. 如申請專利範圍第19項之編碼器，配置為通過使用一上下文的上下文相關的熵編碼來解碼該分區維度旗標(114)，該上下文取决於該框內編碼模式。
  30. 如申請專利範圍第19項之編碼器，配置為通過使用上下文相關的熵編碼來解碼該分區維度旗標(114)，該上下文相關的熵編碼使用下列三個上下文的一個，該三個上下文包括：用信號發送一非角度模式的該框內編碼模式、用信號發送一垂直模式的該框內編碼模式、用信號發送垂直模式的該框內編碼模式。
  31. 如申請專利範圍第19項之編碼器，配置為根據沿著預定維度(104)的該預定區塊(80)的一尺寸及/或根據該預定區塊的該框內編碼模式及/或根據該預定區塊的該框內編碼模式是否為一角度模式，設定沿著該預定維度(104)測量的該變換分區的一寬度。
  32. 如申請專利範圍第19項之編碼器，配置為使得使得每個子分區的變換分區(300)的一數量取決於該預定區塊的維度。
  33. 如申請專利範圍第32項之編碼器，配置為使得假如該預定區塊的維度超過一預定門檻則每個子分區的變換分區(300)的該數量為一，以及假如該預定區塊的維度未超過一預定門檻則每個子分區的變換分區(300)的該數量大於一。
  34. 如申請專利範圍第19項之編碼器，配置為使得該預定區塊中的子分區的一數量取決於該預定區塊的維度及/或該預定維度(104)。
  35. 如申請專利範圍第34項之編碼器，配置為使得假如該預定區塊的維度降到低於一另一預定門檻則該預定區塊中的子分區(300)的該數量為一，以及假如該預定區塊的維度不降到低於該另一預定門檻則該預定區塊內的子分區(300)的該數量大於一。
  36. 如申請專利範圍第34項之編碼器，配置為使得該預定區塊中的子分區的一數量取決於該預定區塊的維度在於：假如該預定區塊的該維度假定為一第一寬度與第一高度則子分區的該數量等於一第一數量， 以及假如該預定區塊的該維度假定為一第二寬度等於該第一高度並且第二高度等於該第一寬度則子分區的該數量等於不同於該第一數量的一第二數量。
  37. 一種將來自一資料流(14)的一圖片(12)進行基於區塊解碼的方法，包括：解碼來自該資料流(14)的該圖片的一預定區塊(18)的一框內編碼模式(116)；解碼來自該資料流的圖片的該預定區塊的一分區維度旗標(114)，並且根據該分區維度旗標設定一分區維度(104)為水平或垂直；沿著該預定維度(104)將該預定區塊(80)劃分為變換分區，該變換分區與垂直於預定維度的該預定區塊一樣寬；針對每個變換分區，解碼來自該資料流的一預測殘差的一變換(182)；根據該框內編碼模式根據以一方式與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器；以及通過使用針對該各個變換分區所解碼的該預測殘差的該變換來校正(122)每個變換分區內的該預測器以重建該預定區塊；通過下列步驟執行該以取決於該框內編碼模式的一方式根據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器以及通過使用針對該各個變換分區所解碼的該預測殘差的該變換來校正(122)每個變換分區內的該預測器以重建該預定區塊之步驟：針對一當前子分區以及在繼續進行一後續子分區前，通過下列步驟依據一預定子分區順序(126)依序地重建多個變換分區的多個群組， 該預定子分區順序(126)沿著該預定維度依序地橫貫該子分區，該預定區塊的該多個變換分區被分組成具有多個變換分區的多個群組以針對具有多個變換分區的每一群組形成一子分區(102；112)；根據該框內編碼模式根據以一方式與該當前子分區相鄰的一個或多個已經重建的取樣通過填充該當前子分區來推導(122)該當前子分區的一預測器；通過校正(122)該組變換分區所包含的每個變換分區內的該預測器來重建當前子分區，該組變換分區形成利用該各個變換分區的該變換的該當前子分區。
  38. 一種將來自一資料流(14)的一圖片(12)進行基於區塊編碼的方法，包括：編碼來自該資料流(14)的該圖片的一預定區塊(18)的一框內編碼模式(116)；編碼來自該資料流的圖片的該預定區塊的一分區維度旗標(114)，並且根據該分區維度旗標設定一分區維度(104)為水平或垂直；沿著該預定維度(104)將該預定區塊(80)劃分為變換分區，該變換分區與垂直於預定維度的該預定區塊一樣寬；針對每個變換分區，編碼來自該資料流的一預測殘差的一變換(182)；以取決於該框內編碼模式的方式依據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器；以及使用針對該各個變換分區所編碼的該預測殘差的該變換通過校正(122)每個變換分區內的該預測器重建該預定區塊； 其中該編碼器配置為執行該以取決於該框內編碼模式的一方式依據與該預定區塊相鄰的一個或多個已經重建的取樣對該預定區塊進行內預測以獲得該預定區塊的一預測器之步驟以及通過下列步驟使用針對該各個變換分區待解碼的該預測殘差的該變換決定用於校正(122)每個變換分區內的該預測器的該預定區塊的預測殘差：依據一預定子分區順序(126)依序地使多個變換分區的多個群組受到一預測以至於以取決於該框內編碼模式的方式依據與該預定區塊相鄰的一個或多個已經重建的取樣通過填充一當前子分區推導該當前子分區的一預測器，該預定子分區順序(126)沿著該預定維度依序地橫貫該子分區，該預定區塊的該多個變換分區被分組成具有多個變換分區的多個群組以針對具有多個變換分區的每一群組形成一子分區(102；112)，確定由形成當前子分區的該組變換分區所包括的每個變換分區內的該預測殘差的該變換，以至於在進行一後續子分區之前，使用該各個變換分區的該變換通過校正(122)由形成當前子分區的該組變換分區所包括的每個變換分區內的該預測器重建該當前子分區。
  39. 一種通過申請專利範圍第38項之方法產生的包括一資料流的資料載體。
  40. 一種具有一程式碼的電腦程式，當在一電腦執行時，該程式碼用於實施當申請專利範圍第37及/或38項之方法。
TW109108248A 2019-03-12 2020-03-12 高效率基於分區的框內編碼概念之實現 TWI758693B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP19162405 2019-03-12
EP19162405.5 2019-03-12
PCT/EP2020/056489 WO2020182874A1 (en) 2019-03-12 2020-03-11 Implementation efficient partition-based intra coding concept
WOPCT/EP2020/056489 2020-03-11

Publications (2)

Publication Number Publication Date
TW202042555A TW202042555A (zh) 2020-11-16
TWI758693B true TWI758693B (zh) 2022-03-21

Family

ID=65801935

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109108248A TWI758693B (zh) 2019-03-12 2020-03-12 高效率基於分區的框內編碼概念之實現

Country Status (9)

Country Link
US (2) US11973978B2 (zh)
EP (1) EP3939261A1 (zh)
JP (3) JP7328346B2 (zh)
KR (1) KR20210135314A (zh)
CN (1) CN113711593B (zh)
BR (1) BR112021017901A2 (zh)
MX (1) MX2021010897A (zh)
TW (1) TWI758693B (zh)
WO (1) WO2020182874A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425376B2 (en) 2019-08-23 2022-08-23 Apple Inc. Image signal encoding/decoding method and apparatus therefor
EP4032269A1 (en) * 2019-09-17 2022-07-27 VID SCALE, Inc. Intra sub-partitions related infra coding
WO2022108419A1 (ko) * 2020-11-23 2022-05-27 현대자동차주식회사 선택적 서브블록 분할정보 전송을 이용하는 영상 부호화 및 복호화 방법과 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007046644A1 (en) * 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
CN106231337B (zh) * 2010-04-13 2020-06-19 Ge视频压缩有限责任公司 解码器、解码方法、编码器以及编码方法
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
US9807401B2 (en) * 2011-11-01 2017-10-31 Qualcomm Incorporated Transform unit partitioning for chroma components in video coding
EP2777286B1 (en) * 2011-11-11 2017-01-04 GE Video Compression, LLC Effective wedgelet partition coding
EP4391545A3 (en) 2012-01-20 2024-10-02 GE Video Compression, LLC Transform coefficient coding
US20150229957A1 (en) * 2012-09-24 2015-08-13 Qualcomm Incorporated Depth map coding
AU2013200051B2 (en) * 2013-01-04 2016-02-11 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking video data
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US9813737B2 (en) * 2013-09-19 2017-11-07 Blackberry Limited Transposing a block of transform coefficients, based upon an intra-prediction mode
US10362310B2 (en) * 2015-10-21 2019-07-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC) of non-4:4:4 chroma sub-sampling
US20170155905A1 (en) * 2015-11-30 2017-06-01 Intel Corporation Efficient intra video/image coding using wavelets and variable size transform coding
TWI812414B (zh) * 2017-07-13 2023-08-11 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置及記錄媒體
EP3656127A1 (en) * 2017-07-19 2020-05-27 Fraunhofer Gesellschaft zur Förderung der Angewand Apparatus and method of coding of pictures
CN111971959B (zh) 2018-02-09 2024-06-14 弗劳恩霍夫应用研究促进协会 基于分区的帧内编码概念
US11445203B2 (en) * 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
KR20230174294A (ko) * 2019-01-12 2023-12-27 (주)휴맥스 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US11523136B2 (en) * 2019-01-28 2022-12-06 Hfi Innovation Inc. Methods and apparatuses for coding transform blocks
CN113875236A (zh) 2019-03-11 2021-12-31 Vid拓展公司 视频译码中的帧内子分区

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
M. Albrecht et.al, Description of SDR, HDR, and 360° video coding technology proposal by Fraunhofer HHI, JVET-J0014, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018 *
Santiago De Luxán Hernández et.al, CE3: Line-based intra coding mode (Tests 2.1.1 and 2.1.2), JVET-L0076, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3–12 Oct. 2018; *
Santiago De-Luxán-Hernández et.al, CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2), JVET-M0102, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9–18 Jan. 2019; *

Also Published As

Publication number Publication date
JP2023145703A (ja) 2023-10-11
EP3939261A1 (en) 2022-01-19
US20210409765A1 (en) 2021-12-30
JP2024125380A (ja) 2024-09-18
MX2021010897A (es) 2021-11-12
CN113711593B (zh) 2024-08-23
JP7513813B2 (ja) 2024-07-09
JP2022524815A (ja) 2022-05-10
TW202042555A (zh) 2020-11-16
JP7328346B2 (ja) 2023-08-16
US11973978B2 (en) 2024-04-30
US20240251101A1 (en) 2024-07-25
KR20210135314A (ko) 2021-11-12
BR112021017901A2 (pt) 2021-12-07
WO2020182874A1 (en) 2020-09-17
CN113711593A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
KR102504298B1 (ko) 파티션 기반 인트라 코딩 개념
TWI764015B (zh) 分區框內寫碼技術
JP7535068B2 (ja) イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
TWI758693B (zh) 高效率基於分區的框內編碼概念之實現
TWI830012B (zh) 圖片編碼的裝置和方法
KR102549936B1 (ko) 패딩을 위한 화면내-예측 모드 선택을 위한 장치
JP2017507554A (ja) 非対称パーティション並びにエンコーダ側の検索パターン、検索範囲、及び分割のためのアプローチを使用するイントラブロックコピー予測
US20180324441A1 (en) Method for encoding/decoding image and device therefor
KR20210096304A (ko) 비디오 샘플들의 블록들의 트리를 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템
JP2024150750A (ja) イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法