TWI779306B - 包含用於框內子分區之寫碼之解碼器、編碼器及方法 - Google Patents

包含用於框內子分區之寫碼之解碼器、編碼器及方法 Download PDF

Info

Publication number
TWI779306B
TWI779306B TW109121701A TW109121701A TWI779306B TW I779306 B TWI779306 B TW I779306B TW 109121701 A TW109121701 A TW 109121701A TW 109121701 A TW109121701 A TW 109121701A TW I779306 B TWI779306 B TW I779306B
Authority
TW
Taiwan
Prior art keywords
intra
prediction
block
predetermined
partition
Prior art date
Application number
TW109121701A
Other languages
English (en)
Other versions
TW202110192A (zh
Inventor
聖地牙哥 狄拉克辛西瑞安茲
維雷拉 喬治
葛亞希瑞 維努構帕
珍斯 布蘭登伯格
班傑明 布洛斯
希可 史瓦茲
迪特利夫 馬皮
湯瑪士 威剛德
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202110192A publication Critical patent/TW202110192A/zh
Application granted granted Critical
Publication of TWI779306B publication Critical patent/TWI779306B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

一種用於對一圖像進行解碼之解碼器經組配以：自一圖像經寫碼成之一資料串流導出該圖像以該圖像細分成區塊之一粒度至包含框內預測及框間預測之預測類型的一集合之一指派，使得各區塊指派至預測類型之該集合中之一相關聯預測類型；及針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式。對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，該解碼器經組配以：自該資料串流導出關於該等各別預定經框內預測之區塊成分區之一劃分之一資訊；及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊的各分區進行框內預測。該解碼器經組配以藉由針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一針對分區之預測殘餘信號及藉由自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊來針對各預定經框內預測之區塊導出一預測殘差而針對各區塊自該資料串流導出關於用於該各別區塊之該預測殘差之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯。另外，該解碼器經組配以使用關於用於該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊。

Description

包含用於框內子分區之寫碼之解碼器、編碼器及方法
發明領域
本申請案係關於圖像寫碼/解碼或視訊寫碼/解碼。引言 ：
在下文中，將描述不同的本發明實施例及態樣。
又，將藉由所附申請專利範圍界定其他實施例。
應注意，如申請專利範圍所界定之任何實施例可由以下實施例中所描述之細節中之任一者(特徵及功能性)補充。
又，可個別地使用實施例，且該等實施例亦可由另一實施例中之特徵中之任一者或由包括於申請專利範圍中之任何特徵補充。
又，應注意，本文中所描述的個別態樣可個別地或組合地使用。因此，細節可添加至該等個別態樣中之各者，而不將細節添加至該等態樣中之另一者。
亦應注意，本發明明確地或隱含地描述可用在編碼器(用於提供輸入信號之經編碼表示，例如圖像或視訊，之設備)中及解碼器(用於基於經編碼表示提供信號之經解碼表示的設備)中之特徵。因此，本文中所描述之特徵中之任一者可用於編碼器之上下文及解碼器之上下文中。
此外，本文中所揭示之與方法相關之特徵及功能性亦可用於設備(經組配以執行此類功能性)中。此外，本文中關於設備所揭示之任何特徵及功能性亦可用於對應方法中。換言之，本文中所揭示之方法可藉由關於設備所描述的特徵及功能性中之任一者加以補充。
又，本文中所描述之特徵及功能性中之任一者可實施於硬體或軟體中，或使用硬體與軟體之一組合加以實施，如將在章節「實施替代方案」中所描述。
發明背景
現今，為了對圖像或視訊進行編碼或解碼，存在使用框內子分區之區塊的寫碼限制。
本申請案之主題的目標為提供一種視訊編解碼器，其使用具有經改良寫碼效率之基於區塊之預測性寫碼。需要得到用於使用框內子分區之區塊的更靈活的寫碼概念或得到用於使用框內子分區之區塊的替代的寫碼概念。
此係藉由本申請案之獨立技術方案的主題來達成。
根據本發明之其他實施例係由本申請案之附屬申請專利範圍的主題界定。
發明概要
根據一第一態樣，本申請案之本發明人意識到當使用框內子分區(ISP)對區塊進行編碼或解碼時遇到的一個問題源自以下事實：當前在VTM-5.0中，框內子分區無法使用低頻率不可分離變換(LFNST)，亦即二次變換。根據本申請案之第一態樣，藉由允許對使用ISP之區塊使用二次變換，亦即藉由允許在變換單元層級下使用二階段變換，來克服此困難。在框內子分區處使用第一變換及初級變換與二次變換之級聯會引入額外語法元素，但已發現，此額外傳訊開銷係藉由以下事實過度補償：跟隨初級變換之二次變換能夠較佳地壓縮非零係數，進而產生用於表示針對分區之殘餘區塊的縮減的資料量。已發現，藉由亦針對框內子分區使用二次變換，可實現較高寫碼效率及經縮減位元率。在下文中，第二變換可等於初級變換與應用於第一變換之係數之子集上的二次變換之級聯。初級變換可為第一變換。針對框內分區啟用第二變換可鏈接至某些條件。舉例而言，在無非零變換係數(亦即初級變換之非零係數)係在預定區域外部之情況下，針對分區啟用第二變換，及/或非零變換係數之數目等於或小於預定限制及/或沿著自DC係數位置通向最高頻率係數位置之掃描路徑的最末非零係數位置，如由資料串流中之最末位置語法元素所指示，等於或小於另一預定臨限值。
相應地，根據本申請案之一第一態樣，提議一種用於對圖像進行編碼之編碼器及一種用於對圖像進行解碼之解碼器。該解碼器/編碼器經組配以自圖像經寫碼成之資料串流導出圖像以圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派/將該指派編碼至該資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。因此，圖像之各區塊例如指派至框內預測或框間預測。該指派可針對各區塊界定預測類型。另外，解碼器/編碼器經組配以針對框內預測指派至之經框內預測之區塊中之各者自資料串流導出在框內預測模式之集合中的相關聯框內預測模式/將該相關聯框內預測模式編碼至資料串流中。
對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，解碼器/編碼器經組配以自資料串流導出關於各別預定經框內預測之區塊成分區之劃分之資訊/將該資訊編碼至該資料串流中。關於該劃分之資訊可指示水平拆分、豎直拆分或四重拆分。另外，對於預定經框內預測之區塊中之各者，編碼器/解碼器經組配成以取決於指派至各別預定經框內預測之區塊的預定框內預測模式之方式對各別預定經框內預測之區塊的各分區進行框內預測。用於各別預定經框內預測之區塊的預定框內預測模式可由用於預定經框內預測之區塊之框內預測模式之集合中的框內預測模式表示。對於各別預定經框內預測之區塊的各分區，相同框內預測模式，亦即預定框內預測模式，可用於框內預測。預定框內預測模式之預定子集為例如框內預測模式之集合之子集。對於預定經框內預測之區塊中之各者，預定框內預測模式之預定子集在用於各別預定經框內預測之區塊的框內預測模式之集合中界定例如最可能的框內預測模式之清單。
解碼器/編碼器經組配以藉由針對各別預定經框內預測之區塊之各分區自資料串流導出經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號/將該針對分區之預測殘餘信號編碼至資料串流中來針對各預定經框內預測之區塊導出/編碼預測殘差而針對各區塊自資料串流導出關於用於各別區塊之預測殘差之資訊/將該資訊編碼至資料串流中。對於各別預定經框內預測之區塊的各分區，針對分區之預測殘餘信號可在變換域中。另外，解碼器/編碼器經組配以藉由自資料串流導出在包括第一變換及第二變換之變換之集合中識別預定變換之資訊/將該資訊編碼至資料串流中來針對各預定經框內預測之區塊導出/編碼預測殘差而針對各區塊自資料串流導出關於用於各別區塊之預測殘差之資訊/將該資訊編碼至資料串流中，變換之集合等於初級變換與應用於初級變換之係數之子集上的二次變換之級聯。初級變換可為第一變換。在此情況下，第二變換等於第一變換與應用於第一變換之係數之子集上的二次變換之級聯。在預定變換係第二變換之情況下，解碼器/編碼器可經組配以個別地使用初級變換及二次變換或使用組合初級變換與二次變換之一個變換，從而產生相同結果。替代地，預定變換為第一變換，且二次變換不由用於各別分區之預定變換包含。解碼器/編碼器可經組配以藉由讀取/傳輸針對各別預定經框內預測之區塊在資料串流中傳輸之變換語法元素來執行自資料串流導出在變換之集合中識別預定變換之資訊/將該資訊編碼至該資料串流中。在變換之集合中識別預定變換之資訊可為指向變換之清單的索引，其中變換之清單可等於變換之集合或包含變換之集合的子集。包含於變換之解碼器集合中之變換可為包含於變換之編碼器集合中之變換的反變換。
另外，解碼器經組配以使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建各區塊。對於由編碼器編碼之各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。
在變換之集合中識別預定變換之資訊可針對各別預定經框內預測之區塊或針對各別預定經框內預測之區塊的各分區個別地導出/編碼。換言之，解碼器/編碼器可經組配以每個分區或整區塊地執行自資料串流導出在變換之集合中識別預定變換之資訊/將該資訊編碼至資料串流中。若整區塊地導出/編碼資訊，則預定變換對於各別預定經框內預測之區塊之各分區為相同的。
根據一實施例，在變換之集合中識別預定變換之資訊可藉由自資料串流讀取用於各別預定經框內預測之區塊之資料串流中(傳輸)之二次變換旗標/將該二次變換旗標傳輸至資料串流中而經導出/編碼，該二次變換旗標處於指示預定變換為第一變換抑或第二變換之彼資料串流中/來自彼資料串流。二次變換旗標可整區塊地指示是否使用第二變換。在指示使用第二變換之情況下，解碼器/編碼器可經組配以藉由針對各分區導出/編碼識別用於各別分區之第二變換的資訊來導出/編碼識別預定變換之資訊。識別第二變換之資訊可指示初級變換及/或二次變換。若初級變換及/或二次變換無法預設地或基於相關聯框內預測模式、區塊尺寸、分區尺寸、分區處理排序及/或劃分來設定或選擇，則識別第二變換之資訊可自資料串流導出/經傳訊至資料串流中。根據一實施例，基於識別第二變換之資訊來設定初級變換且選擇二次變換，或基於識別第二變換之資訊來設定二次變換且選擇初級變換。
根據一第二態樣，本申請案之本發明人意識到當劃分區塊時遇到之一個問題源自以下事實：框內子分區(ISP)之當前設計僅允許使用水平拆分或豎直拆分，從而產生具有不同的水平及豎直尺寸之分區。根據本申請案之第二態樣，此困難係藉由引入在水平及豎直尺寸上劃分區塊之四重拆分來克服。此四重拆分可產生具有相同水平及豎直尺寸之分區。因此，可實現經設定成同等大小之分區。相較於僅僅在水平及豎直拆分當中選擇，引入可被稱作四重拆分之第三劃分需要藉由必須在水平、豎直及四重拆分之間進行區分而增加傳訊開銷，並且因此可需要額外語法元素或具有增加的數目的狀態之語法元素，但已發現，可實現較高寫碼效率及經縮減位元率。
相應地，根據本申請案之一第二態樣，提議一種用於對圖像進行編碼之編碼器及一種用於對圖像進行解碼之解碼器。解碼器/編碼器經組配以自圖像經寫碼成之資料串流導出圖像以圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派/將該指派編碼至資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。因此，圖像之各區塊例如指派至框內預測或框間預測。該指派可針對各區塊界定預測類型。另外，解碼器/編碼器經組配以針對框內預測指派至之經框內預測之區塊中之各者自資料串流導出在框內預測模式之集合中的相關聯框內預測模式/將該相關聯框內預測模式編碼至資料串流中。
對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，解碼器/編碼器經組配以自資料串流導出在劃分模式之集合中識別各別預定經框內預測之區塊成分區之劃分的資訊/將該資訊編碼至資料串流中，劃分模式之集合包括：第一劃分，根據該第一劃分，各別預定經框內預測之區塊經水平地拆分，使得各別預定經框內預測之區塊之分區變得與各別預定經框內預測之區塊一樣寬；第二劃分，根據該第二劃分，各別預定經框內預測之區塊經豎直地拆分，使得各別預定經框內預測之區塊之分區變得與各別預定經框內預測之區塊一樣高；及第三劃分，根據該第三劃分，各別預定經框內預測之區塊經水平地及豎直地拆分，使得各別預定經框內預測之區塊之分區以分區列及分區行配置。在水平拆分下，各別預定經框內預測之區塊沿著豎直尺寸劃分，從而產生n個分區，該等分區具有與各別預定經框內預測之區塊相同的水平大小及等於1/n乘以各別預定經框內預測之區塊之豎直大小的經縮減豎直大小。在豎直拆分下，各別預定經框內預測之區塊沿著水平尺寸劃分，從而產生n個分區，該等分區具有與各別預定經框內預測之區塊相同的豎直大小及等於1/n乘以各別預定經框內預測之區塊之水平大小的經縮減水平大小。在第三劃分下，各別預定經框內預測之區塊可沿著水平尺寸劃分成n個部分並且沿著豎直尺寸劃分成n個部分，從而產生n2 個分區，該等分區具有等於1/n乘以各別預定經框內預測之區塊之水平大小的經縮減水平大小及等於1/n乘以各別預定經框內預測之區塊之豎直大小的經縮減豎直大小。
另外，對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，解碼器/編碼器經組配成以取決於指派至各別預定經框內預測之區塊之預定框內預測模式之方式對各別預定經框內預測之區塊的各分區進行框內預測。
此外，解碼器/編碼器經組配以藉由針對各別預定經框內預測之區塊之各分區自資料串流導出經由預定變換與各別預定經框內預測之區塊之各別分區的空間域預測殘餘信號相關的針對分區之預測殘餘信號/將該針對分區之預測殘餘信號編碼至資料串流中來針對各預定經框內預測之區塊導出/編碼預測殘差而針對各區塊自資料串流導出關於用於各別區塊之預測殘差之資訊/將該資訊編碼至資料串流中。
另外，解碼器經組配以使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建各區塊。對於由編碼器編碼之各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。
根據一第三態樣，本申請案之本發明人意識到當使用框內子分區(ISP)對區塊進行編碼或解碼時遇到的一個問題源自以下事實：框內子分區(ISP)之當前設計允許僅針對區塊之所有分區使用相同框內預測模式。根據本申請案的第三態樣，此困難係藉由使用預定規則以針對預定經框內預測之區塊的各分區判定針對分區之框內預測模式來克服。根據預定規則，基於區塊全域框內預測模式而判定針對分區之框內預測模式。在此提供之情況下，有可能在區塊之框內預測下考慮區塊之分區之間的局域變化。針對各分區判定個別框內預測係藉由資料串流中之資訊來引導，該資訊諸如指示使用個別框內預測模式之額外語法元素及/或指示規則之集合中之預定規則之額外語法元素，但無論與之相關聯之額外傳訊開銷如何，已發現，可實現較高寫碼效率及寫碼品質。
因此，根據本申請案之一第三態樣，提議一種用於對圖像進行編碼之編碼器及一種用於對圖像進行解碼之解碼器。解碼器/編碼器經組配以自圖像經寫碼成之資料串流導出圖像以圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派/將該指派編碼至資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。因此，圖像之各區塊例如指派至框內預測或框間預測。該指派可針對各區塊界定預測類型。另外，解碼器/編碼器經組配以針對框內預測指派至之經框內預測之區塊中之各者自資料串流導出在框內預測模式之集合中的相關聯框內預測模式/將該相關聯框內預測模式編碼至資料串流中。
對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，解碼器/編碼器經組配以：自資料串流導出關於各別預定經框內預測之區塊成分區之劃分之資訊/將該資訊編碼至資料串流中；及自資料串流導出/編碼在規則之集合中識別預定規則之資訊，對於各別預定經框內預測之區塊的各分區，使用規則之集合，基於用於各別預定經框內預測之區塊之相關聯框內預測模式而在預定框內預測模式之預定子集中判定針對分區之框內預測模式。舉例而言，預定框內預測模式之預定子集的預定框內預測模式可在清單中排序。可能將類似框內預測模式分組在一起。對於各分區，使用預定規則，可判定清單中區塊全域預定框內預測模式附近之預定框內預測模式。因此，可考慮用於各分區之框內預測模式的局域變化。另外，對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，解碼器/編碼器經組配以使用針對各別分區判定之針對分區之框內預測模式來對各別預定經框內預測之區塊的各分區進行框內預測。
此外，解碼器/編碼器經組配以藉由針對各別預定經框內預測之區塊的各分區自資料串流導出/編碼經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號來針對各預定經框內預測之區塊導出/編碼預測殘差而針對各區自資料串流導出關於用於各別區塊之預測殘差之資訊/將該資訊編碼至資料串流中。
另外，解碼器經組配以使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建各區塊。對於由編碼器編碼之各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。
較佳實施例之詳細說明
即使出現於不同圖中，以下描述中仍藉由相等或等效附圖標記表示具有相等或等效功能性之相等或等效(若干)元件。
在以下描述中，闡述多個細節以提供對本發明之實施例的更透徹解釋。然而，熟習此項技術者將顯而易見，可在無此等特定細節之情況下實踐本發明之實施例。在其他情況下，以方塊圖形式而非詳細地展示熟知結構及裝置以便避免混淆本發明之實施例。另外，除非另外特定地指出，否則可將下文所描述之不同實施例的特徵彼此組合。
諸圖之以下描述以呈現基於區塊之預測性編解碼器的編碼器及解碼器之描述開始，基於區塊之預測性編解碼器用於對視訊之圖像進行寫碼以便形成可建置本發明之實施例之寫碼框架的實例。關於圖1至圖3描述各別編碼器及解碼器。下文，關於圖4至圖8，本發明的概念之實施例之描述連同關於此類概念可如何分別建置至圖1及圖2的編碼器及解碼器中之描述一起呈現，但關於後續圖4及以下內容描述之實施例亦可用於形成不根據圖1及圖2之編碼器及解碼器的基礎寫碼框架操作之編碼器及解碼器。
圖1展示用於例示性地使用基於變換之殘餘寫碼將圖像12預測性地寫碼至資料串流14中的設備(例如，視訊編碼器)。使用參考符號10指示該設備或編碼器。圖2展示對應的解碼器20，亦即經組配以亦使用基於變換之殘餘解碼對來自資料串流14之圖像12'進行預測性解碼之設備20，其中撇號用於指示藉由解碼器20重建之圖像12'就藉由預測殘餘信號之量化引入之寫碼耗損而言自最初藉由設備10編碼之圖像12偏離。雖然圖1及圖2例示性地使用基於變換之預測殘餘寫碼，但本申請案之實施例不限於此類預測殘餘寫碼。對於關於圖1及圖2所描述之其他細節亦係如此，如將在下文所概述的。
編碼器10經組配以使預測殘餘信號經受空間至頻譜變換，且將由此獲得之預測殘餘信號編碼至資料串流14中。同樣，解碼器20經組配以自資料串流14對預測殘餘信號進行解碼，且使由此獲得之預測殘餘信號經受頻譜至空間變換。
在內部，編碼器10可包含預測殘餘信號形成器22，其產生預測殘差24以便量測預測信號26與原始信號(亦即與圖像12)之偏差，其中預測信號26可根據本發明之實施例解譯為一或多個預測器區塊之集合的線性組合。預測殘餘信號形成器22可例如為自原始信號(亦即，自圖像12)減去預測信號之減法器。編碼器10隨後進一步包含變換器28，該變換器使預測殘餘信號24經受空間至頻譜變換以獲得譜域預測殘餘信號24'，該譜域預測殘餘信號隨後經受藉由亦由編碼器10包含之量化器32進行之量化。將由此量化之預測殘餘信號24''寫碼至位元串流14中。為此目的，編碼器10可視情況包含熵寫碼器34，該熵寫碼器將經變換及量化之預測殘餘信號熵寫碼至資料串流14中。
預測信號26由編碼器10之預測級36基於編碼至資料串流14中且可自資料串流14解碼的預測殘餘信號24"產生。為此目的，如圖1中所展示，預測級36可在內部包含：解量化器38，其對預測殘餘信號24''進行解量化以便獲得譜域預測殘餘信號24'''，該信號除量化損失以外對應於信號24'；解量化器之後的反變換器40，其使後一預測殘餘信號24'''經受反變換，亦即，頻譜至空間變換，以獲得除量化損失以外對應於原始預測殘餘信號24之預測殘餘信號24''''。預測級36之組合器42接著諸如藉由相加重組合預測信號26與預測殘餘信號24''''，以便獲得經重建信號46，亦即，原始信號12之重建。經重建信號46可對應於信號12'。預測級36之預測模組44接著藉由使用例如空間預測(亦即，圖像內預測)及/或時間預測(亦即，圖像間預測)基於信號46產生預測信號26。
同樣，如圖2中所展示，解碼器20可在內部由對應於預測級36並以對應於預測級之方式互連的組件組成。詳言之，解碼器20之熵解碼器50可對來自資料串流之經量化譜域預測殘餘信號24"進行熵解碼，接著以上文關於預測級36之模組描述的方式互連及協作的解量化器52、反變換器54、組合器56及預測模組58基於預測殘餘信號24"恢復經重建信號以使得如圖2中所展示，組合器56之輸出產生經重建信號，亦即圖像12'。
儘管上文未具體描述，但容易瞭解編碼器10可根據一些最佳化方案例如以最佳化與某一速率及失真相關的準則(亦即寫碼成本)之方式設定一些寫碼參數，包括例如預測模式、運動參數等等。舉例而言，編碼器10及解碼器20以及對應模組44、58可分別支援不同預測模式，諸如框內寫碼模式及框間寫碼模式。編碼器及解碼器在此等預測模式類型之間切換所藉以的粒度可對應於圖像12及12'分別細分成寫碼片段或寫碼區塊。在此等寫碼片段之單元中，例如，圖像可細分成經框內寫碼之區塊及經框間寫碼之區塊。
經框內寫碼之區塊係基於各別區塊(例如，當前區塊)之空間、已經寫碼/解碼之鄰域(例如，當前範本)來預測，如關於圖4至圖8更詳細地概述。若干框內寫碼模式可存在並經選擇用於各別經框內寫碼片段，包括定向或角度框內寫碼模式，各別片段根據定向或角度框內寫碼模式藉由沿著對各別定向框內寫碼模式具專一性的某一方向將鄰域之樣本值外推成各別經框內寫碼片段而填充。框內寫碼模式可(例如)亦包含一或多個其他模式，諸如：DC寫碼模式，用於各別經框內寫碼區塊的預測根據該DC寫碼模式指派DC值至各別經框內寫碼片段內之全部樣本；及/或平面框內寫碼模式，各別區塊之預測根據該平面框內寫碼模式估算或判定為藉由相對於具有由二維線性函數基於相鄰樣本定義的平面之驅動傾斜及偏移的各別經框內寫碼區塊之樣本位置的二維線性函數描述的樣本值之空間分佈。
與其比較，可例如在時間上預測經框間寫碼區塊。對於經框間寫碼區塊，可在資料串流14內傳訊運動向量，該等運動向量指示圖像12所屬之視訊的先前經寫碼圖像(例如，參考圖像)之部分的空間移位，在該空間移位處，對先前經寫碼/經解碼圖像進行取樣以便獲得各別經框間寫碼區塊之預測信號。此意謂除了藉由資料串流14包含的殘餘信號寫碼(諸如表示經量化譜域預測殘餘信號24"之熵寫碼變換係數層級)之外，資料串流14可已將其編碼成用於指派寫碼模式至各種區塊的寫碼模式參數、用於區塊中之一些的預測參數(諸如用於經框間寫碼片段之運動參數)，及可選的其他參數(諸如用於控制及傳訊圖像12及12'分別成片段的細分之參數)。解碼器20使用此等參數以與編碼器相同之方式細分圖像，從而將相同預測模式指派給片段，且執行相同預測以產生相同預測信號。
圖3說明一方面經重建信號(亦即，經重建圖像12')與另一方面如在資料串流14中傳訊之預測殘餘信號24''''及預測信號26之組合之間的關係。如上文已指示，該組合可為相加。預測信號26在圖3中說明為圖像區域成使用陰影線說明性指示之經框內寫碼區塊及非陰影說明性指示的經框間寫碼區塊之細分。該細分可為任何細分，諸如圖像區域成正方形區塊或非正方形區塊之列及行之常規細分或來自樹根區塊之圖像12成多個具有不同大小之葉區塊之多分樹細分，諸如四分樹細分等等，其中圖3中說明其混合，在圖3中，圖像區域首先細分成樹根區塊之列及行，該等樹根區塊接著根據遞歸多分樹細分而另外細分成一或多個葉區塊。
再次，資料串流14可針對經框內寫碼區塊80而在其中對框內寫碼模式進行寫碼，該框內寫碼模式將若干所支援框內寫碼模式中之一者指派給各別經框內寫碼區塊80。對於經框間寫碼區塊82，資料串流14可在其中寫碼一或多個運動參數。一般而言，經框間寫碼區塊82並不受限於在時間上寫碼。替代地，經框間寫碼區塊82可為超出當前圖像12 (諸如圖像12屬於的視訊之先前經寫碼圖像，或在編碼器及解碼器分別為可調式編碼器及解碼器之情況下，另一視圖之圖像或階層式下部層)自身的自先前寫碼部分預測之任何區塊。
圖3中之預測殘餘信號24''''亦經說明為圖像區域分成區塊84之細分。此等區塊可被稱作變換區塊，以便將其與寫碼區塊80及82區分開。實際上，圖3說明編碼器10及解碼器20可使用圖像12及圖像12'分別成區塊之二個不同細分，亦即成寫碼區塊80及82之一個細分及成變換區塊84之另一細分。二種細分可能相同，亦即，各寫碼區塊80及82可同時形成變換區塊84，但圖3說明如下情況：其中例如成變換區塊84之細分形成成區塊80、82之細分的延伸，使得區塊80及82之二個區塊之間的任何邊界與二個區塊84之間的邊界重疊，或替代而言，各區塊80、82與變換區塊84中之一者重合抑或與變換區塊84之叢集重合。然而，亦可獨立於彼此判定或選擇細分，使得變換區塊84可替代地跨越區塊80、82之間的區塊邊界。就細分成變換區塊84而言，如關於細分成區塊80、82所提出之彼等陳述，類似陳述因此成立，亦即，區塊84可為圖像區域成區塊(具有或不具有成列及行之配置)之常規細分的結果、圖像區域之遞歸多分樹細分的結果，或其組合，或任何其他類別之分塊。順便指出，應注意，區塊82及84不限於正方形、矩形或任何其他形狀。
圖3進一步說明預測信號26與預測殘餘信號24""之組合直接產生經重建信號12'。然而，應注意，多於一個預測信號26可根據替代實施例與預測殘餘信號24""組合以產生圖像12'。
在圖3中，變換區塊84應具有以下重要性。變換器28及反變換器54以此等變換區塊84為單位執行其變換。舉例而言，許多編解碼器將某種離散正弦變換(DST)或離散餘弦變換(DCT)用於所有變換區塊84。一些編解碼器允許跳過變換，使得對於變換區塊84中之一些，直接在空間域中對預測殘餘信號進行寫碼。然而，根據關於圖4至圖8所描述之實施例，編碼器10及解碼器20以此方式組配使得其支援若干變換。舉例而言，由編碼器10及解碼器20支援之變換可包含： •  DCT-II (或DCT-III)，其中DCT代表離散餘弦變換 •  DST-IV，其中DST代表離散正弦變換 •  DCT-IV •  DST-VII •  恆等變換(IT)
自然地，雖然變換器28將支援此等變換之所有正向變換版本，但解碼器20或反變換器54將支援其對應的後向或反向版本： •  反向DCT-II (或反向DCT-III) •  反向DST-IV •  反向DCT-IV •  反向DST-VII •  恆等變換(IT)
後續描述提供關於編碼器10及解碼器20可支援哪些變換之更多細節。在任何情況下，應注意，所支援變換之集合可僅包含一個變換，諸如一個頻譜至空間或空間至頻譜變換，但亦有可能編碼器或解碼器根本不使用變換或變換不用於單個區塊80、82、84。
如上文已概述，已呈現圖1至圖3作為實例，在該實例中可實施下文關於圖4至圖8描述之本發明概念以便形成根據本申請案的視訊編碼器及解碼器之特定實例。就此而言，圖1及圖2之編碼器及解碼器可分別表示本文中所描述的編碼器及解碼器的可能實施。然而，圖1及圖2僅僅為實例。然而，根據本申請案之實施例之編碼器可使用關於圖4至圖8較詳細概述之概念對圖像12執行基於區塊之編碼，並且該編碼器與圖1之編碼器的不同之處在於例如經框內寫碼之區塊80進一步細分成分區及/或在於細分成分區藉由用於單個經框內寫碼之區塊80的水平拆分及豎直拆分來執行及/或在於第一變換及二次變換係用於單個經框內寫碼之區塊80的分區及/或在於個別框內預測模式係用於單個經框內寫碼之區塊80的分區。同樣地，根據本申請案之實施例之解碼器可使用關於圖4至圖8進一步概述之寫碼概念自資料串流14對圖像12'執行基於區塊之解碼，但該解碼器與例如圖2之解碼器20的不同之處在於經框內寫碼之區塊80進一步細分成分區及/或在於細分成分區藉由用於單個經框內寫碼之區塊80的水平拆分及豎直拆分執行及/或在於第一變換及二次變換係用於單個經框內寫碼之區塊80的分區及/或在於個別框內預測模式係用於單個經框內寫碼之區塊80的分區。
根據一態樣，如圖4中所展示，圖像110經寫碼成之資料串流112可傳送資訊112a，該資訊藉由編碼器插入至資料串流112中並且基於該資訊，解碼器得出以該圖像細分成區塊之粒度將圖像110指派至預測類型的集合114。亦即，資訊112a將圖像110之區塊中之各者指派至預測類型的集合114中之一者。如上文所描述，預測類型之集合114包含框內預測116及框間預測118，使得各區塊指派至集合114中之相關聯預測類型。對於各經框內預測之區塊120，亦即對於指派至框內預測116之各區塊，資料串流112包含資訊112c，該資訊藉由編碼器插入並且根據該資訊，解碼器針對各別經框內預測之區塊120得出各別經框內預測之區塊120與框內預測模式之集合122中之哪一框內預測模式相關聯。對於預定經框內預測之區塊120中之各者，亦即其相關聯框內預測模式容納於預定框內預測模式之子集124內的區塊，資料串流112進一步包含資訊112d，該資訊藉由編碼器插入至資料串流112中以便使得解碼器能夠自其得出各別預定框內預測區塊120成分區130之劃分128。應注意，並非每一經框內預測之區塊都需要為預定區塊。實際上，如上文所描述並且如下文進一步描述，以資料串流針對經框內預測之區塊傳送的資訊112b可決定某一經框內預測之區塊是否為預定區塊，亦即ISP區塊。類似地，框內預測模式之子集無需為恰當子集，但集合122之所有框內預測模式亦可為子集124之成員。該集合122可包含角度框內預測模式123a、平面框內預測模式123b、DC框內預測模式123c及/或基於區塊之框內預測模式123d。子集124包含例如角度框內預測模式123a、平面框內預測模式123b及/或DC框內預測模式123c。
圖4中說明劃分之不同可能性。基於用於各別預定經框內預測之區塊120的劃分128，各別預定經框內預測之區塊120的各分區130以取決於指派至各別預定經框內預測之區塊的預定框內預測模式之方式經框內預測以獲得針對分區之預測信號。上文呈現用於框內預測模式之一些實例並且以下在本文中簡要地陳述其他細節。
資料串流112另外針對各區塊包含關於用於各別區塊之預測殘差的資訊112e。對於各預定框內預測區塊120，此按以下方式用資料串流傳送。詳言之，資料串流112針對各別預定經框間預測之區塊120的各分區130包含針對分區之預測殘餘信號132，其經由預定變換T與各別分區130之空間域預測殘餘信號134相關。資料串流112內之資訊136藉由編碼器插入至資料串流中並且針對各別預定經框內預測之區塊自解碼器自該資料串流導出，並且識別變換之集合138中之預定變換T。該資訊136係例如藉由針對各別預定經框內預測之區塊120讀取在資料串流112中傳輸之變換語法元素112f而導出。變換語法元素112f可整區塊地或針對各別預定經框內預測之區塊120之各分區130在資料串流112區塊中傳訊。識別變換之集合138中之預定變換T的資訊136可按照分區130或區塊120全域地導出。變換之集合138包括至少第一變換T1及第二變換T2，其中第二變換T2對應於初級變換T1/Tp及應用於初級變換T1/Tp之變換係數的子集140之二次變換Ts的級聯。初級變換Tp可為第一變換T1。第一變換T1及/或初級變換Tp可為可分離的變換，諸如DCT或DST，且二次變換可為不可分離的變換。基於關於預測殘差及預測信號之資訊，各區塊接著可藉由解碼器使用指派至各別區塊之預測類型來重建。亦即，經框間預測之區塊藉由框間預測導出預測信號，且對於經框內預測之區塊，藉由框內預測獲得預測信號。
變換語法元素112f可由二次變換旗標及/或二次變換指示語法元素表示。二次變換旗標可指示預定變換是第一變換T1還是第二變換T2，且二次變換指示語法元素可指示將在預定變換為第二變換T2之情況下使用二次變換Ts。
根據一實施例，解碼器/編碼器經組配以在預定變換T係第一變換T1及第二變換T2之間以及在不同的二次變換候選者之間做出決定，以判定與區塊級及分區級不同的區塊級及分區級下之二次變換Ts。因此，預定變換T可為第一變換T1或第二變換T2，其中用於第二變換T2之二次變換Ts可在不同的二次變換候選者中選擇以判定與區塊級及分區級不同的區塊級及分區級下之二次變換Ts。
在繼續描述用於針對ISP區塊傳訊變換資訊136的各種可能性之前，一些其他節點應舉例說明上文所闡述之描述的可能實施。舉例而言，以上描述簡單地忽略經框內預測之區塊不一定必須為ISP區塊。亦即，坦言之，並非每一經框內預測之區塊需要為預定經框內預測之區塊。此及其他實施細節將自以下簡單論述變得顯而易見。
詳言之，解碼器及編碼器可支援在圖4中之集合122中概述的不同框內預測模式。可存在角度框內預測模式123a，根據該等角度框內預測模式，與將經框內預測之區域相鄰的參考樣本(例如用於未經ISP框內預測之區塊的整個經框內預測之區塊及用於ISP區塊之各個別分區130的區域)經使用以便填充預定區塊120以便獲得用於該區塊之框內預測信號。詳言之，可沿著區域之邊界(諸如沿著區域之上部邊緣及左側邊緣)配置的參考樣本表示沿著預定方向外插或複製至此區域的內部中之圖像內容。在外插或複製之前，由相鄰樣本表示之圖像內容可能經受內插濾波，或換言之，可藉助於內插濾波自相鄰樣本導出。角度框內預測模式123a在框內預測方向上彼此不同。各角度框內預測模式123a可具有與之相關聯的索引，其中索引與角度框內預測模式123a之關聯性可使得當根據相關聯模式索引對角度框內預測模式123a進行排序時之方向單調地順時針或逆時針旋轉。
亦可存在非角度框內預測模式，諸如平面框內預測模式123b，根據該等非角度框內預測模式，由水平斜率、豎直斜率及偏移定義之二維線性函數基於與待經框內預測之區域相鄰的先前提及之相鄰樣本導出，其中此線性函數在待經框內預測之區域(亦即整個區塊120或某一分區130之區域)的內部中定義經預測樣本值。水平斜率、豎直斜率及偏移係基於相鄰樣本導出。
集合122中可含有特定非角度框內預測模式123c—DC模式。此處，一個值，亦即DC值，係基於相鄰樣本導出，且此一個DC值係歸因於待經框內預測之區域(亦即整個區塊120或某一分區130之區域)之內部中的所有樣本以便獲得框內預測信號。儘管展示非框內預測模式之二個實例，但在集合122中可能沒有一個或可存在一個或多於二個。
框內預測模式123a至123c形成由編碼器及解碼器支援之框內預測模式的子集124。如圖4中在123d處所說明，該等框內預測模式可視情況就速率/失真最佳化而言而與使用參考符號123d指示之基於區塊之框內預測模式競爭。根據此等基於區塊之框內預測模式123d，可使用一方面自相鄰樣本導出之向量與另一方面預定預測矩陣之間的矩陣向量乘積以便產生預測向量，該預測向量用於預測待經框內預測之區域內之樣本。此類基於區塊之框內預測模式123d若存在可在與各別模式相關聯之預測矩陣方面彼此不同。因此，簡要概述，根據本文中所描述之實施例之編碼器及解碼器可包含框內預測模式123a至123d之集合124。
經框內預測之區塊120可使用框內預測按以下方式經寫碼/解碼。舉例而言，模式指示112c可按以下方式進行。詳言之，在基於區塊之預測模式123d經支援之情況下，集合選擇語法元素或資訊112b—其可命名為intra_mip_flag—可在資料串流120中傳送以指示將使用框內預測模式之子集124中之任一者抑或模式123d中之任一者來預測區塊120。相對於資訊112c，在圖4中另外指示資訊112b。應注意，自一個視角，資訊112b及112c共同作用以指示用於區塊120之集合122中之框內預測模式，但當圖4中之區塊120經假設為ISP區塊時，已經已知區塊的模式在集合124中，且資訊112c足以指示區塊之120模式。
若資訊112b指示將使用子集124之任何模式預測區塊120，則可按以下方式傳訊資訊112c。集合124中之最可能的候選者之清單基於框內預測模式使用與區塊120相鄰之已經預測的相鄰區塊來解釋/形成於解碼器及編碼器處。相鄰區塊可相對於區塊120之位置以預定方式諸如藉由判定與區塊120之某些相鄰樣本(諸如區塊120之左上方樣本頂部的樣本)重疊的彼等相鄰區塊及含有剛剛提及之拐角樣本的左側樣本之區塊來判定。當然，此僅為實例。此適用於用於模式預測之相鄰區塊的數目，該數目對於所有實施例並非限於二個。可使用多於二個或僅僅一個。若缺少此等相鄰區塊中之任一者，則預設情況下可使用集合124中之預設框內預測模式作為彼缺少的相鄰區塊之框內預測模式的替代物。此在相鄰區塊中之任一者已經使用框間預測模式諸如藉由經運動補償之預測進行寫碼/解碼之情況下亦可適用。集合122中之最可能的模式之清單之構建可使得清單長度，亦即，其中之最可能的模式之數目，可預設為固定的。資料串流中之索引可指示此清單中將用於區塊120之一個模式。編索引係沿著清單次序或排序來執行，其中清單索引例如經可變長度寫碼，使得索引之長度沿著次序530單調地增加。清單索引將形成資訊112c之一部分。首先僅將集合124中之最可能的模式填充至最可能的模式清單並且沿著清單次序置放相對於具有適於經框內預測之區塊120的較低機率之模式更有可能在上游之模式係值得的。當清單之模式係基於用於相鄰區塊之模式導出時，相鄰區塊中之任一者可能已經使用基於區塊之模式123d經框內預測。在彼情況下，自基於區塊之模式123d至集合124內之模式上的映射可用於清單構建。若集合選擇語法元素112b指示預定區塊120將藉由集合124中之任何模式寫碼，則視情況，MPM語法元素—其可被稱作intra_luma_mpm_flag—可為資訊112c之部分，該資訊指示待用於預定區塊18之框內預測模式是否在MPM清單內且若在該MPM清單內，則資料串流112將剛剛提及之清單索引—其可被稱作intra_luma_mpm_idx—包含至MPM清單中，該MPM清單藉由沿著清單次序對其編索引來指示MPM清單中待用於預定區塊之模式。然而，若集合124中之模式不在MPM清單內，則資料串流112針對作為資訊112c之部分的區塊120包含另一語法元素—其可被稱作intra_luma_mpm_remainder—，其指示哪一模式將用於集合124中之區塊120。此語法元素可以一方式僅僅藉由在集合124中之並非含有在MPM清單中之彼等模式之間區分來指示該模式。
在其他情況下，亦即，在資訊112b指示將使用基於區塊之框內預測模式123d中之任一者預測預定區塊120之情況下，可將區塊120寫碼至資料串流中且自其進行解碼。為此目的，可使用編索引以便對基於區塊之框內預測模式123d中之選定的模式進行編索引或指示將使用該等基於區塊之框內預測模式中之哪一模式。為此，可使用另一MPM清單構建連同指示模式123d當中的選定的模式是否在彼MPM清單內之資訊，若選定的模式在MPM清單內，則其中的哪一個模式為選定的模式，且若不在該MPM清單內，則模式123d當中的不同於區塊120之模式的哪一模式為選定的模式。
在區塊120使用子集124內之模式當中的任何模式寫碼之情況下(亦即可能為預定經框內預測之區塊)，其他語法元素或其他資訊可包括在資料串流中，該等其他語法元素在某種程度上參數化集合124內之框內預測模式。視情況，語法元素—其可被稱作intra_luma_ref_idx—可諸如就朝向區塊120之外圓周的距離而言參數化區塊120周圍之先前提及之參考樣本定位在其中之區或使該區變化，基於該區，集合124中之模式用於對區塊120之內部進行框內預測。可為資訊112b之部分或可使用此參考符號在圖4中說明並且可被稱作intra_subpartitions_mode_flag之語法元素可指示區塊120是否為ISP區塊，亦即其參數化先前提及之參考樣本是否由集合124中之選定的模式使用以全域地或整體地對區塊120之內部進行框內預測，或是否以區塊120細分成並且依序經框內預測之分區130為單位進行框內預測，使得經寫碼至用於一個分區130之資料串流中之預測殘差可用於補充/重建新的參考樣本以用於對下一分區130進行框內預測。受剛剛提及之ISP語法元素112b控制的ISP寫碼選項可根據可選的實施例而僅在控制參考樣本之位置的視情況存在之語法元素具有對應於例如參考樣本位於其中之鄰接區塊120的區之預定狀態之情況下為可用的(且對應的語法元素可僅存在於資料串流中)。
分區130可藉由沿著預定方向諸如水平地(進而導致分區130與區塊120一樣高，如在127b處所指示)或豎直地(進而導致分區130與區塊120一樣寬，如由127a指示)細分區塊120而經界定。視情況，亦指示一或多個其他劃分127c (諸如拆分成N×N個分區130)可為可行的。若向劃分傳訊對於區塊120起作用，則作為資訊112d之部分的語法元素可存在於資料串流中，亦即若區塊120為所解釋之ISP區塊，則此語法元素112d可控制所使用之拆分方向。
根據一實施例，可如關於圖6所描述來執行區塊120之劃分128。
現在先描述關於ISP區塊120之殘餘寫碼。亦即，向區塊120傳訊根據選定的劃分126劃分成分區130，且對於各分區130，資料串流112將其編碼成針對分區之殘餘信號112e，其中解碼器自其對分區130之殘餘信號進行解碼。如所描述，解碼器使用自信號132導出之空間域殘餘信號134以便校正使用針對ISP區塊120傳訊之框內預測模式針對各別分區130導出之預測信號，之後，下一分區可使用參考樣本經框內預測，該等參考樣本與此下一分區相鄰並且部分地駐留在例如前一分區中。針對分區之殘餘信號132在變換域中在資料串流中傳送。使用資訊112f以本文中所描述的方式中之任一者諸如逐分區地在資料串流中傳訊哪一變換T為針對分區之信號132的基礎，使得變換T可在一個ISP區塊120之分區130當中有所不同。然而，在就此而言描述不同實施例之前，簡要地描述針對分區之殘餘信號132如何經寫碼成資料串流112，亦即，關於資料串流112中之資訊112e如何可看起來像指示針對分區之殘餘信號132的資訊。
詳言之，資訊112e可針對各分區130包含經寫碼區塊旗標(CBF)、最末位置(LP)語法元素及形成各別分區130之變換域信號132的變換係數之變換係數層級的寫碼。因此，對於具有K個分區130之ISP區塊120，具有非零CBF之各分區130可存在K個CBF及一個LP。用於對各CBF進行寫碼之上下文可取決於相同區塊120內之經先前寫碼分區130之CBF的值—沿著分區經受預測之次序。2-D變換可用作用於某一分區130之變換T，除了在彼分區130之尺寸中之一者為一(樣本寬)之情況下之外，在此情況下，將應用1-D變換。因此，解碼器能夠針對各分區130獲得變換T之變換係數層級，使其經受反變換以獲得用於空間域中之各分區130的預測殘餘樣本，如在134處所展示。
根據ISP方案，亦即劃分成分區130，在滿足某些一或多個條件之條件下，此方案可能可僅用於當前經框內寫碼區塊。舉例而言，一或多個條件可包含：依據例如區塊之樣本數目，經框內寫碼區塊需要大於某一最小大小，及/或可能不允許經框內寫碼區塊至少水平地及豎直地超過某一尺寸，以便例如不產生過大的變換大小。更精確而言，ISP模式可能僅在經框內寫碼區塊在至少一個方向上(亦即水平地或豎直地)小於或等於剛剛提及之與最大變換相關的大小之情況下係可用的。因此，在區塊滿足剛剛提及之條件之情況下，作為用於經框內寫碼之區塊的資訊112b之部分傳訊ISP模式之intra_subpartitions_mode_flag可僅存在於資料串流中。否則，解碼器可推斷經框內寫碼之區塊經框內寫碼、未經劃分。在指示經框內寫碼之區塊80係ISP經寫碼之區塊之intra_subpartitions_mode_flag之情況下，作為資訊112d之部分的分區尺寸旗標—其可被稱作intra_subpartitions_split_flag—可針對經框內寫碼之區塊80進一步傳訊。然而，此intra_subpartitions_mode_flag可能不必經顯式地傳訊，但在某些情形之情況下經推斷以指示某一分區尺寸。舉例而言，在經框內寫碼之區塊具有超過前述最大變換大小之寬度(但具有不超過該最大變換大小之高度)之情況下，分區尺寸可必須為水平 ，且在區塊之高度超過剛剛提及之最大變換大小(但寬度不超過該最大變換大小)之情況下，尺寸可必須為豎直的。在二種情況下，intra_subpartitions_split_flag將不在資料串流中顯式地傳訊，但由解碼器相應地推斷。此外，編碼器及解碼器可取決於區塊120之大小判定區塊120拆分成的分區130之數目。接著將不必在資料串流中使用任何信號。對於較小區塊大小，數目可為二，而分區130之數目可另外為四。執行分區130之框內預測及資料串流中之預測殘餘之寫碼的分區次序可沿著分區方向在諸如127b處說明之水平方向之情況下自最左邊分區引導且在最遠分區之豎直劃分127a之情況下自最上部分區引導。亦不會針對此情形使用傳訊。
如上文所描述，可每個分區130進行殘餘變換112e。亦即，可使用某一變換T單獨地對各分區130進行變換。作為中間說明，應注意，在未經ISP框內寫碼之區塊之情況下，變換之數目可亦取決於區塊之大小：若未經ISP框內寫碼之區塊水平地及豎直地小於前述最大變換大小，則經框內寫碼之區塊之殘差使用一個變換經寫碼，亦即，區塊之殘差完全地經受一個變換。此可能不會在ISP區塊之情況下發生，因為ISP區塊逐分區地變換。在水平地超過最大變換大小之情況下，未經ISP框內寫碼之區塊水平地拆分成二半或對應數目個變換區塊，使得半部或變換區塊符合最大變換大小且區塊之殘餘每個半部/變換區塊經受一次變換。此在區塊豎直地超過最大變換大小之情況下同樣適用。若豎直地及水平地超過最大變換大小，則四個或對應數目個變換係用於將此區塊之四個四分體中之區塊的殘餘或區塊的規則2維細分變換成對應數目個變換區塊。當然，未經ISP框內寫碼之區塊的處理以其他方式自經ISP框內寫碼之區塊120的處置偏離。舉例而言，不在未經ISP框內寫碼之區塊之情況下使用諸如拆分旗標之顯式傳訊。根據一實施例，未經ISP框內寫碼之區塊整體經框內預測，而ISP區塊以依序方式每個分區經框內寫碼。其他差異可係關於用於對預測殘差進行寫碼之變換之寫碼。對於各變換，亦即對於在ISP區塊之情況下之各分區130及在未經ISP框內寫碼之區塊之情況下的各變換，傳輸經寫碼之區塊旗標CBF，諸如tu_cbf_luma，但當對於未經ISP框內寫碼之區塊，此旗標可針對各變換必然經寫碼時，在用於先前變換/分區之所有先前CBF為零之情況下，可推斷此旗標為用於彼區塊120之最末分區130的變換之旗標。
關於以上描述的變化，應做一些註釋。舉例而言，儘管已經描述了對分區之依序框內寫碼，包括在對當前分區進行框內寫碼時考慮前一分區之預測殘差，但以上實施例可變化，此係因為基於處於ISP區塊外部之參考樣本針對所有分區或分區之子群組(亦即整體地)進行框內預測，而ISP區塊之基於分區之處理僅係關於基於分區之變換寫碼。應注意，剛剛提及之變化可混合以產生其中編碼器及解碼器針對不同區塊大小使用以上變化中之不同變化的實施例，使得例如，存在當經ISP寫碼時使用逐分區之框內預測的某一大小之區塊，及當區塊經ISP寫碼時使用逐區塊或逐分區至群組之框內預測時的不同大小之區塊。此外，如上文常常所提及，上文所呈現之傳訊僅僅係說明性的且可以不同方式進行。舉例而言，經由使用MPM清單之傳訊僅僅係說明性的且可在無此類MPM清單之情況下進行。此外，以上呈現之語法元素當中的傳訊次序及相互調節可變化。
在下文中，低頻率不可分離變換(LFNST)係用作二次變換Ts 。但應瞭解，亦可使用其他二次變換。
低頻率不可分離變換為僅在初級變換係數之左上方拐角上(例如，在初級變換Tp/T1之係數的子集140上)應用之二次變換。在VTM-6.0中，存在根據當前區塊之框內模式選擇的各個LFNST集合。各LFNST集合包含二個不同變換。因此，解碼器具有根據顯式地傳訊之元素選擇的3個選項(0-＞不使用LFNST，1-＞使用第一LFNST，2-＞使用第二LFNST)。有可能在一些情況下，取決於某些條件，LFNST不適用於區塊： •  實例1：初級變換係數在區塊120之某一區域160中係非零。 •  實例2：在應用二次變換之後的所得變換係數違反某些條件，諸如有效係數之數目大於某一臨限值或結果最末位置語法元素大於某一臨限值。
在前述實例中及在相關情況下，不藉由解碼器解析任何傳訊並且推斷不應用二次變換。
當前，在VTM-6.0 (框內子分區)中，ISP無法使用LFNST。提議在變換單元(TU)層級下在使用ISP之區塊上啟用此演算法。此意謂，若使用ISP之區塊拆分成
Figure 02_image001
個子分區，則所得子分區中之各者將例如以與不使用ISP之普通區塊相同的方式來使用LFNST演算法。在後續實施例中，分別關於LFNST使用及二次變換候選者當中的可選的選擇之隱式及顯式傳訊以及關於在區塊層級及分區層級下執行剛剛提及之決策/傳訊中之任一者來描述不同可能性。
在子分區層級下應用二次變換Ts 。因此，舉例而言，存在語法元素，亦即變換語法元素112f，其針對各子分區130進行解析以決定是否將計算二次變換Ts ，且在肯定答案之情況下，決定計算哪一個二次變換。當然，可(例如，僅)在符合二次變換條件之情況下，例如，有效係數之數目大於某一臨限值及/或預定區域外部不存在非零係數，來解析此語法元素。
如上文所概述，當前在VTM-6.0 (框內子分區)中，ISP無法使用LFNST。在本文中提議在使用ISP之區塊上啟用此演算法。此意謂，使用ISP之區塊120之各子分區130將具有應用二次變換Ts 之可能性。此可藉由具有語法元素之資訊112f而顯式地指示給解碼器，但其亦可藉由使用已經存在於解碼器處之參數或藉由隱式及顯式元素之組合而被隱式地指示。在下文中，除了上文所描述的實例之外亦提供各種實例。
換言之，展示用於ISP與LFNST之組合的以上不同可能性。下文，在下文中概述傳訊之變型或使T變換以用於對分區130之預測殘差進行變換寫碼。 在子分區層級下顯式地
二次變換Ts可針對各子分區130經顯式地傳訊至解碼器。此版本僅僅將LFNST的普通使用外插至藉由ISP創建之各子分區130。
亦即，恢復關於每個分區130之預測殘差132的變換寫碼之描述。如所描述，預測殘差132可經寫碼成變換域中之資料串流112。此變換域經由變換T與空間域相關。根據剛剛呈現之變型，資訊112f可每個分區130指示此變換T為第一變換T1抑或二次變換Ts之後的初級變換Tp/T1。換言之，對於各分區，讀取變換語法元素112f，從而指示第一變換T1抑或第二變換T2用於各別分區。可預設二次變換Ts對於區塊120係固定的，或針對ISP區塊120傳訊一次。取決於用於區塊120之集合124中之框內預測模式，二個Ts可能形成用於區塊120之二次變換候選者的集合，並且可能針對區塊120選擇一個二次變換候選者。舉例而言，初級變換T1將預設為對於ISP區塊120係固定的。應注意，在彼情況下，當發送決定以便針對整個區塊120應用二次變換Ts時，該決定僅僅對於其殘餘資訊112e不馬上指示可能由於以上經指示原因而不應用二次變換的分區起作用，該等原因諸如：若以下條件中之一者適用於其如藉由資訊112e寫碼之殘餘變換，則LFNST不可用於某一分區(否則可用)：1)非零變換係數位於預定區域140外部(如圖5中所展示)；2)非零係數之數目超過某一限制；3)沿著自DC係數位置通向相對或最高頻率、係數位置的掃描路徑之最末非零係數位置(如由在本文中被稱作LP語法元素之一或多個語法元素針對各別分區之殘餘變換所指示，其幾乎充當用於變換內之非零係數的預期計數之量度)超過某一臨限值；或4)若符合條件1至3中之二者或更多者中之一者，則LFNST係不可用的；或5)若符合條件1至3中之條件之子集中之各者，則LFNST係不可用的。
就此而言，應回顧上文已經描述的內容。詳言之，對於區塊120之分區130，基於每個分區在資料串流中傳輸CBF。CBF可指示分區，例如變換單元，是否包括殘餘資訊，例如，藉由預測產生之資訊。若其，亦即CBF，指示將為零之殘差，則二次變換旗標112f不需要針對各別分區130存在。此外，如上文亦已經描述，二次變換選項之可用性可取決於某些情況：例如，上文所描述的LP語法元素充當非零區指示。其針對各別分區130傳訊非零變換域區域160，如圖5中所展示，僅僅針對分區之預測殘餘信號132之所有非零係數位於該非零變換域區域中且相應地僅僅零係數定位在該非零變換域區域中。取決於此非零變換域區域160之延伸部分及/或位置，預定變換T必須僅等於初級變換T1，或二次變換T2係可用的，在此情況下，二次變換旗標112f藉由編碼器傳輸或藉由解碼器讀取。舉例而言，二次變換Ts僅在非零變換域區域160不超過變換T1之變換係數之應用二次變換Ts的部分(亦即，圖4或圖5中之部分140)之情況下為可用的。因此，二次變換旗標112f對於某一分區130是否存在係針對分區之問題，且雖然對於區塊120之一個變換130可存在二次變換旗標，但對於彼區塊120之另一分區130可不存在該二次變換旗標。
取決於此非零變換域區域160之延伸部分及/或位置，解碼器可經組配以在自指示預定變換T為第一變換T1抑或第二變換T2之資料串流112讀取針對各別分區130在資料串流112中傳輸之二次變換旗標112f，或推斷預定變換T為第一變換T1之間做出決定。若非零變換域區域160完全地定位於由應用二次變換Ts之變換T1的變換係數之部分140定義之區域內部，則讀取二次變換旗標112f。否則，推斷預定變換T為第一變換T1。二次變換旗標112f將第一變換T1抑或第二變換T2指示為預定變換可取決於上文所描述的條件1至5中之一或多者。
替代地或另外，在讀取二次變換旗標112f與推斷預定變換T為第一變換T1之間的決定可取決於非零變換域區域160是否排他性地涵蓋藉由初級變換Tp/T1與二次變換Ts之級聯應用二次變換Ts之初級變換Tp/T1的係數140，及/或取決於非零變換域區域160內之非零係數的數目。
根據一實施例，解碼器/編碼器經組配以在分區130之尺寸降至低於預定臨限值之情況下推斷預定變換T為第一變換T1。
另外，某一旗標，亦即二次變換指示語法元素，可存在於用於區塊120之分區130中之各者的資料串流中，對於該旗標，二次變換選項係可用的並且經傳訊以應用，亦即自二次變換之對應集合(亦即包含二個可能二次變換之集合)中選擇二次變換之旗標。代替發送用於此類分區130之二個旗標，三陣列語法元素可用於指示用於各別分區之變換，亦即作為用於彼分區130之資訊112f。
在繼續進行下一選項以指示用於區塊120的分區130之變換T之前，還要另外注意以下內容。詳言之，應注意，用於某一分區130之變換係數層級的寫碼僅限於非零部分160。LP語法元素可藉由當自變換T1之最高頻譜頻率位置至諸如左邊/頂部拐角的DC頻率位置對變換T1之變換係數進行一維掃描時指示第一非零係數位置來指示某一部分。在二維T1變換之情況下，該位置可由x及y座標指示或該位置可經指示為一索引，該索引將剛剛提及之非零位置量測為沿著剛剛提及之一維掃描次序距DC變換位置之距離(以係數為單位)。還要注意，針對分區130在資料串流112中傳輸之變換係數層級可為第一變換T1之變換係數或第二變換T2之係數，此取決於變換信號為經組合變換T2抑或單個變換T1。還要注意，若變換T經傳訊為T1之後為Ts的二階段變換，亦即第二變換T2，則解碼器可藉由依序執行第二變換之反轉之後為變換T1之反轉來執行反向變換以用於獲得各別分區130之空間域殘餘信號134或執行在一個反變換中組合之T2的反轉。換言之，針對分區之預測殘餘信號132可經受反變換T-1 ，從而形成預定變換T之反轉，以獲得空間域殘餘信號134。 在區塊層級下顯式地
二次變換Ts可針對整個區塊120經顯式地傳訊至解碼器僅一次。此意謂區塊120內之所有子分區130將應用相同的二次變換Ts。若二次變換旗標112f指示預定變換T為第二變換T2，則解碼器/編碼器可經組配以使用用於所有分區130之第二變換T2。
此可暗示二次變換之應用的某些限制可以不同方式來應用。舉例而言，即使仍可應用前述實例2，但在此情況下前述實例2亦非必需的。替代地，其亦可作為整個群組來應用或可需要不同臨限值等。
換言之，資料串流112中可針對整個區塊120含有信號112f一次，該信號傳訊是否應用Ts，亦即T為T1抑或T1之後為Ts，亦即T2，且若後者為真，該Ts在二次變換之候選集合中。用於LFNST之可用性限制，亦即應用Ts，可每個分區130進行測試，其中區塊120全域傳訊僅適用於LFNST係可用的彼等分區130。在用於所有分區130之LFNST的不可用性之情況下，可對於區塊120保留傳訊112f，亦即編碼器不對此LFNST進行編碼，從而激活用於區塊120之旗標，且解碼器推斷旗標經設定為去激活LFNST。甚至替代地，僅在用於所有分區130之可用性之情況下，傳訊112f可針對區塊120存在，否則推斷不使用LFNST。在後一情況下，若用於所有分區130之LFNST可用性適用且區塊層級LFNST激活傳訊指示用於區塊120之LFNST激活，則因此將僅針對區塊120對Ts選擇性傳訊進行寫碼。僅在用於區塊120之所有分區130的LFNST可用性之情況下，與上文在1至5中所論述相同的或其他準則或其他臨限值可用於LFNST之傳訊區塊層級激活的變型中。
根據一實施例，該解碼器可經組配以在自指示預定變換T為第一變換T1抑或第二變換T2的資料串流112讀取針對各別預定經框內預測之區塊120在資料串流112中傳輸的二次變換旗標112f與推斷預定變換T為第一變換T1之間做出決定。此決定可取決於非零變換域區域160 (如圖5中所展示)相對於藉由初級變換Tp/T1與二次變換Ts之級聯應用二次變換的初級變換Tp/T1之係數140的相對位置。若非零變換域區域160完全地定位於由應用二次變換Ts之初級變換Tp/T1的變換係數140定義之區域內部，則讀取二次變換旗標112f。否則，推斷預定變換T為第一變換T1。替代地或另外，該決定可取決於非零變換域區域160是否排他性地涵蓋藉由初級變換Tp/T1與二次變換Ts之級聯應用二次變換Ts之初級變換Tp/T1的係數140，及/或取決於非零變換域區域160內之非零係數的數目。二次變換旗標112f將第一變換T1抑或第二變換T2指示為預定變換可取決於上文所描述的條件1至5中之一或多者。除了二次變換旗標112f之外，二次變換指示語法元素對於各別預定經框內預測之區塊120可為全域信號區塊，以指示用於所有分區130之精確二次變換。
該解碼器可經組配以針對預定經框內預測之區塊120的所有分區130執行一次該決定，其中可針對預定經框內預測之區塊120的所有分區130檢查該決定可取決於之上文所描述之條件。根據一實施例，藉由針對預定經框內預測之區塊120的所有分區130檢查以下準則中之一或多者且在對於所有分區130符合以下準則中之一或多者之情況下決定將讀取二次變換旗標112f來針對所有分區130執行一次該決定： -無非零變換係數位於預定區域140外部，及/或 -非零係數之數目超過預定限制，及/或 -沿著自DC係數位置通向最高頻率係數位置之掃描路徑的最末非零係數位置，如由資料串流中之最末位置語法元素所指示，超過另一預定臨限值。
如將在下面的額外說明中更詳細地描述，可能必須針對所有分區130符合以上準則中之僅一些並且針對預定經框內預測之區塊120的至少一個分區130必須符合一些準則，使得將讀取二次變換旗標112f。
根據一實施例，解碼器/編碼器經組配以在分區130之尺寸降至低於預定臨限值之情況下推斷預定變換T為第一變換T1。 顯式地組合區塊與子分區層級
區塊及子分區層級二者處可能存在顯式語法元素。舉例而言，在區塊層級處可傳訊所有子分區130是否將使用二次變換Ts，例如藉由二次變換旗標112f傳訊。接著，若將使用二次變換Ts，則各子分區130將顯式地傳訊將例如藉由二次變換指示語法元素來應用二次變換(彼此獨立地)。當然，LFNST的全域激活可僅影響區塊120之分區130，其殘餘資訊112e符合用於LFNST可用性之條件。若對於至少一個分區符合用於LFNST可用性之條件，則可僅針對區塊120將對應的激活寫碼至資料串流中。並且僅對於彼等分區，將對語法元素進行寫碼，從而顯示地選擇Ts。替代地，僅在用於所有分區130之可用性之情況下，傳訊112f可針對區塊120存在，否則推斷不使用LFNST。亦即，僅在LFNST可用性適用於所有分區之情況下將傳訊區塊層級LFNST激活傳訊，且因此，對於各分區，用於區塊120之資料串流中將含有Ts選擇傳訊。
亦即，代替LFNST係可用的每個分區130傳訊是否應用Ts且若應用的話針對ISP區塊判定之Ts候選者的集合中之哪一者應用作Ts，可替代地為：初級變換T1對於區塊120之所有分區130係固定的並且資訊112f傳訊是否針對LFSNT將自上文所描述的其他因素(非零部分之位置及/或非零係數之數目及/或最末非零係數之位置)的視角為可用的區塊120之分區130應用LFNST之決定，僅一次為全域的，同時在藉助於每個此類分區對各別Ts選擇語法元素進行寫碼來傳訊LFNST以應用於區塊120之分區130之情況下針對LFSNT係可用的各分區130使二次變換Ts變化。
在所有顯式傳訊情況下(例如顯式地在子分區層級下及/或顯式地在區塊層級下及/或顯式地組合區塊與子分區層級)，解碼器/編碼器可經組配以按取決於相關聯框內預測模式(亦即針對區塊120在集合122或子集124中選擇之框內預測模式)之方式自候選二次變換Ts之集合中選擇一或多個候選二次變換Ts之子集。若一或多個候選二次變換Ts之子集含有多於一個候選二次變換Ts，則取決於針對各別預定經框內預測之區塊120在資料串流112中傳輸之二次變換指示語法元素自一或多個候選二次變換Ts之子集中選擇二次變換Ts。
根據一實施例，候選二次變換之集合不與由解碼器/編碼器使用以用於經框內預測之未經劃分之其他經框內預測之區塊的二次變換Ts不相交。 隱式地
解碼器可在係數經解碼以獲得關於待使用之變換的資訊136時使用現有元素，亦即決定是否針對各子分區130應用二次變換。此等參數之實例為子分區索引、子分區大小、區塊大小、框內模式等等。
解碼器/編碼器可經組配以針對各分區130取決於各別分區130沿著分區130經受框內預測116之次序的排序、各別分區130之大小、預定經框內預測之區塊120之大小及/或相關聯框內預測模式122而在預定變換T為第一變換T1抑或第二變換T2之間做出決定。此決定之結果可藉由二次變換旗標112f在前述顯式傳訊中傳訊。可取決於相關聯框內預測模式122、分區大小、區塊120大小、分區130處理排序及/或劃分128來選擇精確二次變換Ts。此選擇可針對預定經框內預測之區塊120的所有分區130或預定經框內預測之區塊120的每個分區130執行一次。 隱式地/顯式地混合
前述實例或其相關版本中之任一者可與隱式規則組合。舉例而言，可顯式地決定是否使用二次變換，但關於必須使用哪一二次變換之決定可藉由使用框內模式、子分區大小、區塊大小、子分區索引、ISP拆分類型(水平或豎直)等來隱式地導出。 額外註釋
以下細節及實例經添加至以上描述。舉例而言，添加用於關於LFNST的可用性之條件的另一實例。更精確而言，在區塊層級下顯式地傳訊二次變換使用/激活之情況下，LFNST的可用性或更精確而言針對區塊120傳輸二次變換旗標112f以便整區塊地激活二次變換Ts，可能可由多於一個條件a)、b)、c)等界定。此情形已經加以描述。舉例而言，對於區塊之所有分區130可能需要符合多於一個條件，諸如上文所列舉之條件1至5中之多於一者。替代地，在分區中之至少一者中多於一個條件可能需要為真或被符合。然而，亦有可能一或多個條件(例如a)及b))在所有分區中應為真，而一或多個其他條件(例如c))需要僅在至少一個分區中為真。
對於某一條件必須僅在至少一個分區130中為真或被符合之情況，針對整個區塊120傳訊之LFNST，若經傳訊為經激活，則可應用在區塊120內之所有分區130上，而不管各分區130之個別可用性條件。另一可能性為其可僅應用在滿足此條件之彼等分區130上。若無分區130滿足此可用性條件，則LFNST未經傳訊(或解析)並且假設不使用LFNST。
解碼器/編碼器可經組配以針對預定經框內預測之區塊120的所有分區130藉由針對所有分區130檢查以下準則a至c中之一或多者並且在對於所有分區130符合以下準則a至c中之一或多個第一準則而對於至少一個分區符合以下準則a至c中之一或多個第二準則之情況下決定將讀取二次變換旗標112f而例如整區塊地執行在讀取二次變換旗標112f與推斷預定變換T為第一變換T1之間的上文所描述之決定一次： a)   無非零變換係數位於預定區域140外部，及/或 b)   沿著自DC係數位置通向最高頻率係數位置之掃描路徑的最末非零係數位置，如由資料串流中之最末位置語法元素所指示，超過另一預定臨限值，及/或 c)   非零係數之數目超過預定限制
根據一實施例，解碼器/編碼器經組配以決定在對於所有分區130符合準則a至c中之一或多個第一準則之情況下及/或在對於至少一個分區130符合準則a至c中之一或多個第二準則之情況下將讀取二次變換旗標112f。因此，有可能在所有分區130符合條件a至c中之一或多者之情況下讀取二次變換旗標112f，且分區130中之至少一者不必另外滿足一或多個第二準則。替代地，亦有可能在至少一個分區130滿足第二準則中之一或多者之情況下針對整個區塊120讀取二次變換旗標112f，且所有分區130不必均符合第一準則中之至少一者。
若二次變換旗標112f指示預定變換T為第二變換T2，則針對符合一或多個第二準則之分區130使用第二變換T2並且針對符合一或多個第二準則中之至少一者之分區130使用第一變換T1。 實例1：
使區塊120具有N個分區130且LFNST之可用性係由條件定義 a)   預定區域140外部之所有係數在所有分區130中必須為零 b)   至少一個分區130必須具有大於某一臨限值之最末有效位置(以掃描次序)。
在此實例中，條件a)在LFNST為可用的所有分區130中必須為真，但條件b)僅在至少一個分區中為必需的。
根據一實施例，一或多個第一準則為無非零變換係數位於預定區域140外部，且一或多個第二準則為沿著自DC係數位置通向最高頻率係數位置之掃描路徑的最末非零係數位置，如由資料串流112中之最末位置語法元素所指示，超過另一預定臨限值。 實例2：
使區塊120具有N個分區130且LFNST之可用性係由條件定義 a)   預定區域140外部之所有係數在所有分區130中必須為零 b)   最末有效位置(以掃描次序)在所有分區中必須大於某一臨限值。
在此實例中，a)及b)在所有分區130中必須為真。 實施例3：
使區塊120具有N個分區130且LFNST之可用性係由條件定義 a)   預定區域140外部之所有係數在所有分區130中必須為零
在此實例中，僅存在a)條件並且其對於LFNST為可用的所有分區130必須為真。
關於利用新的核心或使用現有核心
應用二次變換Ts之子分區130可能與非ISP區塊共用相同二次變換，或其具有僅用於ISP子分區130之專用二次變換表。此可適用於所有情況或可僅用於其子集。舉例而言，對於1×N、2×N、N×2及N×1個子分區(或取決於彼問題之子分區的尺寸之任何子集)或可取決於框內模式或子分區索引或ISP拆分類型(水平或豎直)，或在解碼器側處可用的其他參數。亦即，在某一區塊經寫碼/解碼為ISP (預定)區塊(相較於經寫碼為另外將其與相同框內寫碼模式相關聯之非ISP區塊)之情況下，相互不相交的Ts候選者可用於某一區塊。
為了利用LFNST，非ISP區塊與ISP區塊之間存在差異。
自編碼器視角，LFNST為將「二次」變換應用於「初級」變換之係數。此受制於lfnst索引，亦即變換語法元素112f，其可採用3個不同值(0-＞不應用LFNST，1-＞應用LFNST1，2-＞應用LFNST2)。換言之，變換語法元素112f可指示第二變換T2是否用於區塊。若變換語法元素112f處於第一狀態(例如0)，則其指示第一變換T1之使用，且若變換語法元素112f處於第二狀態(例如1)或第三狀態(例如2)，則其指示第二變換T2之使用。LFNST1及LFNST2取決於框內模式。亦即，用於變換之基底函數相對於框內模式而變化。
此外，若不符合某些可用性條件，則可隱式地推行用於lfnst索引之值0。換言之，若不符合以下可用性條件，則解碼器/編碼器可推斷針對非ISP區塊使用第一變換T1： •  條件1：預定範圍外部必須不存在非零係數(該範圍取決於區塊大小) •  條件2：必須存在並非DC係數(0,0)之至少一個非零係數。
ISP區塊中之LFNST的使用與在具有以下差異之非ISP區塊中係相同的： 1)   LFNST係針對整個區塊僅全域地傳訊一次。換言之，整區塊地導出/傳訊變換語法元素112f。 2)   LFNST索引(亦即變換語法元素112f)之可用性可取決於以下條件。必須發生使得LFNST索引經解析之條件（否則，其假設為0)係以下條件： a.    子分區之大小必須為至少
Figure 02_image003
b.   必須針對所有子分區滿足(上文所描述的)條件1。因此，若至少一個子分區違反該條件，則LFNST0 (無LFNST)將用於所有子分區。 c.    針對ISP情況忽略(上文所描述的)條件2。換言之，對於變換語法元素112f之可用性，各分區不必包含並非DC係數(0,0)之非零係數。 3)   若解析LFNST索引，則會發生以下情形： a.    該索引為0 i. 無LFNST用於任何子分區 b.   該索引為1 i. 對於各子分區，若子分區之經寫碼區塊旗標(CBF)並非零，則應用LFNST1，例如第二變換T2之第一變型。 c.    該索引為2 i. 對於各子分區，若子分區的CBF並非零，則應用LFNST2，例如第二變換T2之第二變型
若LFNST索引為1或2，則用於各子分區之初級變換將為DCT2。
根據一實施例，根據圖15中所展示之寫碼單元語法來解析變換語法元素112f，亦即lfnst_idx。
根據一實施例，lfnst_idx 112f之上文論述的值可例如使用一個或二個位元子之截斷一元碼字來經二進位化，其中第一位元子可指示預定變換為第一變換T1抑或第二變換T2且第二位元子可指示哪一第二變換T2將用於區塊120或分區130。第一位元子可表示二次變換旗標且第二位元子可表示二次變換指示旗標，亦即二次變換指示語法元素。經二進位化lfnst_idx 112f，例如第一位元子及/或第二位元子，可使用上下文自適應性二進位算術寫碼(CABAC)而經熵編碼至資料串流中。應瞭解，此僅僅為實例並且lfnst-idx 112f可以不同方式在資料串流中傳訊。
圖15中所展示之函數transform_tree 113係遞歸的且在所有子分區130內循環。lfnst_idx 112f因此在區塊120的末尾處僅傳訊一次。可檢查213變換區塊120之子分區130的寬度及高度是否皆為至少4。若變換區塊120之各子分區130的寬度及高度二者均至少為4，則lfnst_idx 112f可僅在資料串流中傳訊或藉由解碼器自資料串流導出。若預定區塊為ISP區塊，亦即使用劃分128分割成分區130之經框內預測之區塊120，則可僅在LUMA分量中違反此條件。在ISP情況下，亦即對於經劃分128之預定區塊120，忽略條件2 (參見LfnstDcOnly 313)。換言之，對於經劃分128之預定區塊120，識別預定變換T之資訊136可自資料串流導出/傳訊/經導出/傳訊至資料串流中，而不控制並非DC係數(0,0)之至少一個非零係數是否存在於各分區130中。然而，對於各分區，檢查各別分區之經寫碼區塊旗標(CBF)是否並非零。識別預定變換T之資訊136可僅針對包含至少一個非零變換係數之分區自資料串流導出/傳訊/經導出/傳訊至資料串流中。應注意，在VVC中，使用ISP之區塊一直具有至少一個分區，其具有非零CBF。
在下文中，描述用於經縮放變換係數之變換程序。用於ISP之初級變換選擇可能受lfnst_idx語法元素112f影響。初級變換係針對區塊120或各分區130之水平及豎直方向而藉由trTypeHor及trTypeVer指定。初級變換為可分離的變換。
指定水平變換核心之變數trTypeHor及指定豎直變換核心之變數trTypeVer係如下導出： -若以下條件中之一或多者係真，則trTypeHor及trTypeVer經設定為等於0。 - cIdx大於0 - IntraSubPartitionsSplitType不等於ISP_NO_SPLIT並且lfnst_idx不等於0 -否則，若implicitMtsEnabled等於1，則以下適用： -若cu_sbt_flag等於1，則取決於cu_sbt_horizontal_flag及cu_sbt_pos_flag在表40中指定trTypeHor及trTypeVer。 -否則(cu_sbt_flag等於0)，trTypeHor及trTypeVer如下導出： trTypeHor = ( nTbW  ＞=  4  &&  nTbW  ＜=  16 ) ? 1 : 0 trTypeVer = ( nTbH  ＞=  4  &&  nTbH  ＜=  16 ) ? 1 : 0
-否則，取決於mts_idx在VVC標準的表39中指定trTypeHor及trTypeVer。
對於ISP情況，若lfnst_idx＞0，則trTypeHor及trTypeVer經設定為0 (0表示DCT-II)。因此，經框內預測並且經劃分之預定區塊120將作為初級變換之DCT-II用作水平變換及豎直變換。初級變換係與第一變換相同。
促使(DCT-II, DCT-II)作為初級變換之旗標被稱作sps_mts_enabled_flag (MTS意謂「多重變換選擇」)。若sps_mts_enabled_flag為0，則在所有情況下，初級變換均為(DCT-II, DCT-II)並且此完全獨立於是否使用lfnst之事實。換言之，初級變換Tp等於第一變換T1。因此，解碼器/編碼器經組配以自資料串流導出在包括第一變換T1及第二變換T2之變換的集合138中識別預定變換T之資訊136/將該資訊編碼至資料串流中，該第二變換等於第一變換T1及應用至第一變換T1之係數的子集140上之二次變換Ts的級聯。因此，在此情況下，對於lfnst_idx = 0及lfnst_idx ＞ 0情況，吾人將以DCT-II作為初級變換。
sps_mts_enabled_fla g等於1指定sps_explicit_mts_intra_enabled_flag及sps_explicit_mts_inter_enabled_flag存在於SPS中。sps_mts_enabled_flag 等於0指定sps_explicit_mts_intra_enabled_flag及sps_explicit_mts_inter_enabled_flag不存在於SPS中。 在變換程序中，對於經縮放變換係數，經設定為0之HLS旗標阻止設定trTypeHor及trTypeVer的值： 變數implicitMtsEnabled如下導出： -若sps_mts_enabled_flag等於1並且以下條件中的一或多者係真，則implicitMtsEnabled經設定為等於1： - IntraSubPartitionsSplitType不等於ISP_NO_SPLIT - cu_sbt_flag等於1並且Max( nTbW, nTbH )小於或等於32 - sps_explicit_mts_intra_enabled_flag等於0，且CuPredMode[ 0 ][ xTbY ][ yTbY ]等於MODE_INTRA，且lfnst_idx[ x0 ][ y0 ]等於0，並且intra_mip_flag[ x0 ][ y0 ]等於0 -否則，implicitMtsEnabled經設定為等於0。變數implicitMtsEnabled保持為0值，從而防止初級變換可為DCT-II之外的任何內容。 指定水平變換核心之變數trTypeHor及指定豎直變換核心之變數trTypeVer係如下導出：
-若以下條件中之一或多者係真，則trTypeHor及trTypeVer經設定為等於0。 -cIdx大於0 -IntraSubPartitionsSplitType不等於ISP_NO_SPLIT，且lfnst_idx不等於0 (此在lfnst_idx並非0之情況下促使初級為DCT-II。此獨立於implicitMtsEnabled。初級變換為第一變換) -否則，若implicitMtsEnabled等於1，則以下適用：
-若cu_sbt_flag等於1，則取決於cu_sbt_horizontal_flag及cu_sbt_pos_flag在表40中指定trTypeHor及trTypeVer。 -否則(cu_sbt_flag等於0)，trTypeHor及trTypeVer如下導出： trTypeHor = ( nTbW  ＞=  4  &&  nTbW  ＜=  16 ) ? 1 : 0 trTypeVer = ( nTbH  ＞=  4  &&  nTbH  ＜=  16 ) ? 1 : 0
-否則，取決於mts_idx在VVC標準的表39中指定trTypeHor及trTypeVer。用於預定區塊120之變換，亦即trTypeHor及trTypeVer，經設定為其預設值(mts_idx一直為用於ISP的0)。因此，trTypeHor及trTypeVer經設定為0，亦即，DCT-II。
因此應瞭解，第一變換及第二變換的初級變換可為相同變換。解碼器/編碼器經組配以將第一變換用作初級變換。 獨立於區塊120是否被劃分128，亦即是否為ISP區塊，可根據以下特徵應用第二變換： 詳言之，在lfnst_idx 112f之情況下，變數ApplyLfnstFlag係如下導出： -若treeType等於SINGLE_TREE，則以下適用： ApplyLfnstFlag = ( lfnst_idx ＞ 0 && cIdx  = =  0 ) ? 1 : 0 -否則，以下適用： ApplyLfnstFlag = ( lfnst_idx ＞ 0 ) ? 1 : 0 在用於經縮放變換係數之變換程序中，ApplyLfnstFlag為變換程序準備變數且ApplyLfnstFlag調用其： 當ApplyLfnstFlag等於1，transform_skip_flag[ xTbY ][ yTbY ][ cIdx ]等於0並且nTbW及nTbH二者大於或等於4時，以下適用： -變數predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize及nonZeroSize係如下導出： predModeIntra = ( cIdx  = =  0 ) ? IntraPredModeY[ xTbY ][ yTbY ]：IntraPredModeC[ xTbY ][ yTbY ]   (1178) nLfnstOutSize = ( nTbW  ＞=  8  &&  nTbH  ＞=  8 ) ? 48 : 16 log2LfnstSize = ( nTbW  ＞=  8  &&  nTbH  ＞=  8 ) ? 3 : 2 nLfnstSize = 1  ＜＜  log2LfnstSize nonZeroSize = ( ( nTbW  = =  4  &&  nTbH  = = 4 )  | |  ( nTbW  = = 8  &&  nTbH  = =  8 ) ) ? 8 : 16
-當intra_mip_flag[ xTbY ][ yTbY ]等於1並且cIdx等於0時，predModeIntra經設定為等於INTRA_PLANAR。 -當predModeIntra等於INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM時，predModeIntra係如下導出：
-若intra_mip_flag[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]等於1，則predModeIntra經設定為等於INTRA_PLANAR。 -否則，若
- CuPredMode[ 0 ][ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]等於MODE_IBC或MODE_PLT，則predModeIntra經設定為等於INTRA_DC。 -否則，predModeIntra經設定等於
-IntraPredModeY[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]。
-以predModeIntra、nTbW、nTbH及cIdx作為輸入且以經改良predModeIntra作為輸出來調用如在條項8.4.5.2.6中指定之廣角框內預測模式映射程序。 - x = 0..nonZeroSize − 1之清單u[ x ]的值係如下導出： xC = DiagScanOrder[ 2 ][ 2 ][ x ][ 0 ] yC = DiagScanOrder[ 2 ][ 2 ][ x ][ 1 ] u[ x ] = d[ xC ][ yC ] -以經縮放變換係數nonZeroSize之輸入長度、經設定等於nLfnstOutSize之變換輸出長度nTrS、x = 0..nonZeroSize − 1之經縮放非零變換係數u[ x ]之清單及用於LFNST集合選擇predModeIntra之框內預測模式作為輸入且以x = 0..nLfnstOutSize − 1之清單v[ x ]作為輸出來調用如條項8.7.4.2中指定之一維低頻率不可分離變換程序。(此調用實際上執行lfnst變換程序之程序。) - x = 0..nLfnstSize − 1、y = 0..nLfnstSize − 1之陣列d[ x ][ y ]係如下導出： -若predModeIntra小於或等於34，則以下適用： d[ x ][ y ] = ( y ＜ 4 ) ? v[ x + ( y  ＜＜  log2LfnstSize ) ]： ( ( x ＜ 4 ) ? v[ 32 + x + ( ( y − 4 )  ＜＜  2 ) ] : d[ x ][ y ] ) -否則，以下適用： d[ x ][ y ] = ( x ＜ 4 ) ? v[ y + ( x  ＜＜  log2LfnstSize ) ]： ( ( y ＜ 4 ) ? v[ 32 + y + ( ( x − 4 )  ＜＜  2 ) ] : d[ x ][ y ] )
根據一實施例，關於圖4及/或圖5描述之編碼器/解碼器可包含如關於圖6至圖8所描述的特徵及/或功能性。 四重拆分之使用(實施例) ISP之當前設計允許使用2個不同拆分類型： ● 水平拆分：區塊係沿著豎直尺寸劃分成
Figure 02_image001
個部分 ● 豎直拆分：區塊係沿著水平尺寸劃分成
Figure 02_image001
個部分
在VTM-5.0中，取決於區塊大小，
Figure 02_image001
可為2或4。
在圖6中所展示之實施例中，引入第三拆分類型。圖像110經寫碼成資料串流112。根據圖6，解碼器/編碼器經組配以自資料串流112導出以圖像110細分成之區塊120的粒度將圖像110指派112a至包含框內預測116及框間預測118之預測類型的集合114/將該指派編碼至該資料串流中，使得各區塊120指派至預測類型之集合114中的相關聯預測類型。另外，解碼器/編碼器經組配以針對框內預測116指派至之經框內預測之區塊120中之各者自資料串流112導出框內預測模式之集合122中之相關聯框內預測模式125/將該相關聯框內預測模式編碼至資料串流中。
對於相關聯框內預測模式125含於預定框內預測模式之預定子集124內之預定經框內預測之區塊120中之各者，解碼器/編碼器經組配以自資料串流112導出自劃分模式之集合127識別各別預定經框內預測之區塊120成分區130的劃分128之資訊126/將該資訊編碼至該資料串流中，劃分模式之集合包括：第一劃分127a，根據該第一劃分，各別預定經框內預測之區塊120經水平地拆分，使得各別預定經框內預測之區塊120的分區130變得與各別預定經框內預測之區塊120一樣寬；第二劃分127b，根據該第二劃分，各別預定經框內預測之區塊120經豎直地拆分，使得各別預定經框內預測之區塊120的分區130變得與各別預定經框內預測之區塊120一樣高；及第三劃分127c，根據該第三劃分，各別預定經框內預測之區塊120經水平地及豎直地拆分，使得各別預定經框內預測之區塊120的分區130以分區列及分區行配置。另外，對於相關聯框內預測模式125含於預定框內預測模式之預定子集124內之預定經框內預測之區塊120中之各者，解碼器/編碼器經組配以按取決於指派至各別預定經框內預測之區塊120的預定框內預測模式125之方式對各別預定經框內預測之區塊120的各分區130進行框內預測。
解碼器/編碼器經組配以藉由針對各別預定經框內預測之區塊120的各分區130自資料串流112導出經由預定變換T與各別預定經框內預測之區塊120的各別分區130之空間域預測殘餘信號相關的針對分區之預測殘餘信號132/將該針對分區之預測殘餘信號編碼至該資料串流中來針對各預定經框內預測之區塊120導出/編碼預測殘差132而針對各區塊120自資料串流112導出關於用於各別區塊120之預測殘差132的資訊112e/將該資訊編碼至該資料串流中。
另外，解碼器/編碼器經組配以使用關於用於各別區塊120之預測殘差132的資訊及使用指派至各別區塊120之預測類型125獲得之預測信號來重建各區塊120。
根據一實施例，各別預定經框內預測之區塊120在第三劃分127c處在水平及豎直上同等頻率地拆分，使得分區列之數目等於分區行之數目。
根據一實施例，解碼器經組配以自資料串流112導出資訊126，以便自劃分模式之集合127中識別各別預定經框內預測之區塊120的劃分128，該資訊藉由讀取針對各別預定經框內預測之區塊120在資料串流112中傳輸之劃分指示符112d並且藉由使用劃分指示符112d (亦即劃分索引)而自劃分模式之集合127中識別各別預定經框內預測之區塊120成分區130之劃分128。編碼器可包含與解碼器並行之特徵，其中該編碼器經組配以藉由在資料串流112中傳輸分區指示符112d而將資訊126編碼至資料串流112中。
根據一實施例，解碼器經組配以藉由讀取由劃分指示符112d含有且指示各別預定經框內預測之區塊120的劃分128是否為第三劃分127c的第一旗標而讀取針對各別預定經框內預測之區塊120在資料串流112中傳輸之劃分指示符112d。編碼器可包含與解碼器並行之特徵，其中編碼器經組配以藉由傳輸第一旗標來傳輸劃分指示符112d。若各別預定經框內預測之區塊120的劃分128並非第三劃分127c，則解碼器/編碼器經組配以讀取/傳輸由劃分指示符112d含有且指示各別預定經框內預測之區塊120的劃分128為第一劃分127a抑或第二劃分127b之第二旗標。
根據一實施例，關於圖6所描述之編碼器/解碼器可包含如關於圖4、圖5、圖7及圖8中之實施例中之一者所描述的特徵及/或功能性。 較佳版本實例：
各分區將為相等大小的且
Figure 02_image001
的較佳值可為2或4。因此，將存在具有相同尺寸的4或16個分區。 演算法提議：
提議包括另一拆分類型，亦即第三劃分127c，亦即四重拆分，其將在水平及豎直尺寸上將區塊各自劃分成
Figure 02_image001
個部分。因此，子分區之總數目將為
Figure 02_image005
。舉例而言，對於
Figure 02_image007
，將總共存在4個子分區。此拆分類型將需要新的語法元素以指示其經使用或其可在解碼器側處由現有區塊參數(諸如區塊尺寸或框內模式)隱式地決定。該拆分將以與已經存在的拆分類型相同的方式起作用。 局域框內模式之使用(實施例)
在VTM-5.0的ISP設計中，橫越所有子分區共用框內模式。因此，例如，僅需要針對整個區塊傳訊其一次。吾人將此模式界定為全域區塊模式。
在圖7中所展示之實施例中，引入局域框內模式。各分區130 (例如1300 至1303 )可指派至其自身框內模式。預定經框內預測之區塊120的一些分區130可與預定經框內預測之區塊120的其他分區130指派至相同框內模式。替代地，預定經框內預測之區塊120的各分區130與預定經框內預測之區塊120的其他分區130指派至不同框內模式。
圖7展示用於自資料串流112對圖像進行解碼之解碼器及用於將圖像編碼成資料串流112之編碼器的細節。圖7中亦未展示，解碼器/編碼器經組配以自資料串流112導出圖像以該圖像細分成之區塊之粒度至包含框內預測116及框間預測118之預測類型的集合114之指派/將該指派編碼至該資料串流中，使得各區塊120指派至預測類型的集合114中之相關聯預測類型。此可藉由類似於關於圖4至圖6所描述之解碼器/編碼器的解碼器/編碼器來進行。
另外，解碼器/編碼器經組配以針對框內預測指派至之經框內預測之區塊120中之各者自資料串流112導出框內預測模式之集合中之相關聯框內預測模式125。框內預測模式之集合可與關於圖4或圖6所描述之集合122相同或類似，且在預定框內預測模式之以下提及的子集中，可與關於圖4或圖6所描述之預定框內預測模式的子集124相同或類似。
對於相關聯框內預測模式125含於預定框內預測模式之預定子集124內之預定經框內預測之區塊120中之各者，解碼器/編碼器經組配以自資料串流112導出關於各別預定經框內預測之區塊120成分區130之劃分128的資訊126/將該資訊編碼至該資料串流中。劃分128的導出或編碼可如關於圖4及/或圖6所描述來執行。另外，對於相關聯框內預測模式125含於預定框內預測模式之預定子集124內之預定經框內預測之區塊120中之各者，解碼器/編碼器經組配以自資料串流112導出識別規則之集合154中之預定規則156之資訊150/將該資訊編碼至該資料串流中，對於各別預定經框內預測之區塊120之各分區130，使用規則之集合，基於用於各別預定經框內預測之區塊120的相關聯框內預測模式125判定預定框內預測模式之預定子集124中之針對分區之框內預測模式152。使用針對各別分區判定之針對分區之框內預測模式152來對各別預定經框內預測之區塊120的各分區130進行框內預測。針對第一分區之框內預測模式1520 可指派至第一分區1300 ，針對第二分區之框內預測模式1521 可指派至第二分區1301 ，針對第三分區之框內預測模式1522 可指派至第三分區1302 ，且針對第四分區之框內預測模式1523 可指派至第四分區1303 。針對分區130判定針對哪一分區之框內預測模式152取決於預定規則156及用於各別預定經框內預測之區塊120的相關聯框內預測模式125。
另外，解碼器/編碼器經組配以藉由針對各別預定經框內預測之區塊120的各分區130自資料串流112導出經由預定變換T與各別預定經框內預測之區塊120的各別分區130之空間域預測殘餘信號134相關的針對分區之預測殘餘信號132來針對各預定經框內預測之區塊120導出預測殘差而針對各區塊120自資料串流112導出關於用於各別區塊120之預測殘差之資訊/將該資訊編碼至該資料串流中。可如圖4或圖6中所描述來執行預測殘差之導出。
解碼器/編碼器經組配以使用關於用於各別區塊120之預測殘差的資訊及使用指派至各別區塊120之預測類型獲得之預測信號來重建各區塊120。可藉由使用針對各別分區130判定之針對分區之框內預測模式152針對各分區130獲得針對分區之預測信號來重建區塊120。可依序對分區130進行框內預測。可藉由使用各別分區130之針對分區之預測信號及針對分區之預測殘差來依序重建區塊120之各分區130來重建區塊120。
根據一實施例，解碼器/編碼器經組配以按取決於指派至各別預定經框內預測之區塊120的預定框內預測模式125之方式藉由使用藉由先前分區之針對分區之預測殘餘信號132對用於先前分區之框內預測信號之校正來依序執行各別預定經框內預測之區塊120的分區130之框內預測。
根據一實施例，解碼器/編碼器經組配以藉由讀取針對各別預定經框內預測之區塊120在資料串流112中傳輸之規則索引112g或藉由基於相鄰區塊的特性來預測規則索引而自資料串流112導出在規則之集合154中識別預定規則156之資訊150/將該資訊編碼至該資料串流中，對於各別預定經框內預測之區塊120的各分區130，使用規則之集合，基於用於各別預定經框內預測之區塊的相關聯框內預測模式125在預定框內預測模式之預定子集124中判定針對分區之框內預測模式152。因此，在規則之集合154中識別預定規則156之資訊150可運用在資料串流112中傳輸之規則索引112g顯式地傳訊或可藉由基於與預定區塊120相鄰的相鄰區塊之特性對規則索引之預測而隱式地獲得。可使用規則索引以便在規則之集合154中識別預定規則156。
根據一實施例，解碼器/編碼器經組配以使得規則之集合154中之各規則針對各別預定經框內預測之區塊120的分區130判定針對分區之框內預測模式152，使得若用於各別預定經框內預測之區塊120的相關聯框內預測模式125為角度模式123a，則用於各別預定經框內預測之區塊120的分區130之針對分區之框內預測模式152亦為角度模式123a。另外，如圖8中所指示，用於各別預定經框內預測之區塊120的分區130之針對分區之框內預測模式152的框內預測方向170之均值等於用於各別預定經框內預測之區塊120的相關聯框內預測模式125之框內預測方向172。在角度框內預測模式123a根據其相關聯框內預測方向的順時針旋轉排序之情況下，圖8根據規則之集合154中之第一規則1551 在左側展示了針對分區之框內預測模式152的框內預測方向170，且圖8根據規則之集合154中之第二規則1552 ，在右側展示了針對分區之框內預測模式152的框內預測方向170。
如上文已經概述，角度框內預測模式123a相互不同之處在於框內預測方向170/172。各角度框內預測模式123a可具有與之相關聯的索引，其中索引與角度框內預測模式123a之關聯性可使得當根據相關聯模式索引對角度框內預測模式123a進行排序時之方向單調地順時針或逆時針旋轉。
根據一實施例，解碼器/編碼器經組配以使得規則之集合154包含第一變型規則(例如1551 )及第二變型規則(例如1552 )的一或多個配對。第一變型規則，例如第一規則1551 ，其以如下方式判定用於各別預定經框內預測之區塊120的分區130之針對分區之框內預測模式152：使得當在空間上沿著預定方向174橫穿分區130時，用於各別預定經框內預測之區塊120的分區130之針對分區之框內預測模式152之框內預測方向170以角度偏離量值自用於各別預定經框內預測之區塊120的相關聯框內預測模式125之框內預測方向172偏離，該角度偏離量值隨著距各別預定經框內預測之區塊120的中間之距離沿著預定方向174並且在相較於在中間下游在該中間上游以相反角度偏離符號單調地增加。第二變型規則，例如第二規則1552 ，其以如下方式判定用於各別預定經框內預測之區塊120的分區130之針對分區之框內預測模式152：使得對於各別預定經框內預測之區塊120的各分區130，用於各別分區130之針對分區之框內預測模式152的框內預測方向170以一角度偏離量值並以一角度偏離符號自用於各別預定經框內預測之區塊120的相關聯框內預測模式125之框內預測方向172偏離，該角度偏離量值等於根據第一變型規則(例如第一規則1551 )之用於各別分區130之針對分區之框內預測模式152的框內預測方向170自用於各別預定經框內預測之區塊120的相關聯框內預測模式125之偏離並且該角度偏離符號與該偏離相反。第一變型規則1551 及第二變型規則2 藉由相同角度偏離量值但相反角度偏離符號界定每個分區的針對分區之框內預測模式152。
在劃分128的上文所描述之導出或編碼處，資訊126可在劃分模式之集合127中識別劃分128。如圖4或圖6中所展示，劃分模式之集合127可包括：第一劃分127a，根據該第一劃分，各別預定經框內預測之區塊120經水平地拆分，使得各別預定經框內預測之區塊120的分區130變得與各別預定經框內預測之區塊120一樣寬；及第二劃分127b，根據該第二劃分，各別預定經框內預測之區塊120經豎直地拆分，使得各別預定經框內預測之區塊120的分區130變得與各別預定經框內預測之區塊120一樣高。任擇地，劃分模式之集合127包含第三劃分127c，根據該第三劃分，各別預定經框內預測之區塊120經水平及豎直地拆分，使得各別預定經框內預測之區塊120的分區130以分區列及分區行配置。在各別預定經框內預測之區塊120的劃分128係第一劃分127a之情況下，預定方向174為豎直，並且在各別預定經框內預測之區塊的劃分128係第二劃分127b之情況下，該預定方向為水平。根據第一劃分127a執行圖7及圖8中所展示之劃分。
根據一實施例，解碼器/編碼器經組配以基於各別預定經框內預測之區塊120的尺寸依據分區130之數目來判定劃分128。舉例而言，劃分128取決於各別預定經框內預測之區塊120的高度及寬度。劃分128可產生多個分區130，其超過二個。各別預定經框內預測之區塊120可藉由劃分128劃分成至少三個分區130。
根據一實施例，關於圖7及/或圖8所描述之編碼器/解碼器可包含如關於圖1至圖6所描述的特徵及/或功能性。 演算法提議： 提議允許各子分區130具有其自身框內模式，亦即針對分區之框內預測模式152，其不一定必須等於全域區塊模式，亦即相關聯框內預測模式125。在此新的方法中，全域區塊模式125將例如仍藉由解碼器解析，但接著各子分區130將具有其自身的局域模式152。此局域模式152可取決於全域區塊模式125、子分區索引、顯式地發送之語法元素、相鄰框內模式等等。舉例而言，吾人具有具備4個子分區(例如分區1300 至1303 )之區塊120，該等子分區具有自0至3的索引及全域框內模式
Figure 02_image009
。接著，子分區130的局域框內模式152可如下： ●    局域模式0 =
Figure 02_image011
●    局域模式1 =
Figure 02_image013
●    局域模式2 =
Figure 02_image015
●    局域模式3 =
Figure 02_image017
較佳版本實例：
● 若使用ISP，則旗標，亦即局域框內預測指示112h，係藉由解碼器解析以決定是否將存在框內模式125的局域變化。解碼器/編碼器可經組配以讀取/傳輸指示針對分區之框內預測模式152是否係用於各分區130的預測之局域框內預測指示112h。 ● 若將存在局域變化，則第二旗標，亦即規則索引112g，將經發送以指示將採用變化的哪一模型，亦即規則156。在局域框內預測指示112h指示使用針對分區之框內預測模式152之情況下，解碼器/編碼器可經組配以讀取/傳輸規則索引112g或基於相鄰區塊的特性預測規則索引並且使用該規則索引以便在規則之集合154中識別預定規則156。舉例而言，存在2個可能性：
子分區索引 模型1 模型2
0
Figure 02_image019
Figure 02_image021
1
Figure 02_image023
Figure 02_image025
2
Figure 02_image025
Figure 02_image023
3
Figure 02_image021
Figure 02_image019
額外註釋：
圖4或圖6中所展示之圖像110可與關於圖1至圖3所描述之圖像12或12'相關聯。圖4、圖6及圖7中所展示之資料串流112可與關於圖1及圖2所描述之資料串流14相關聯。圖4、圖6、圖7及圖8中所展示之經框內預測之區塊120可與關於圖3所描述之經框內預測之區塊80相關聯。
圖9展示用於對圖像進行解碼之方法1000，其包含自該圖像經寫碼成之資料串流導出1100圖像以該圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型的集合之指派，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法1000包含自資料串流針對框內預測指派至之經框內預測之區塊中之各者導出1200在框內預測模式之集合中的相關聯框內預測模式。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法1000包含自資料串流導出1300關於各別預定經框內預測之區塊成分區之劃分之資訊，及以取決於指派至各別預定經框內預測之區塊的預定框內預測模式之方式對各別預定經框內預測之區塊的各分區進行框內預測1400。另外，該方法1000包含藉由針對各別預定經框內預測之區塊的各分區自資料串流導出1510經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號來針對各預定經框內預測之區塊導出預測殘差而針對各區塊自資料串流導出1500關於用於各別區塊之預測殘差之資訊。另外，該方法1000包含藉由自資料串流導出1520一資訊來針對各預定經框內預測之區塊導出預測殘差而針對各區塊自資料串流導出1500關於用於各別區塊之預測殘差之資訊，該資訊在包括第一變換及第二變換之變換的集合中識別預定變換，變換之集合等於初級變換與應用至初級變換之係數之子集上的二次變換之級聯。各區塊係使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號而經重建1600。
如圖10中所展示，與用於解碼之方法1000並行之用於對圖像進行編碼之方法2000包含將圖像以圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合之指派編碼2100至該圖像寫碼成之資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法2000包含針對框內預測指派至之經框內預測之區塊中之各者將框內預測模式之集合中之相關聯框內預測模式編碼2200至資料串流中。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法2000包含將關於各別預定經框內預測之區塊成分區之劃分之資訊編碼2300至資料串流中，及以取決於指派至各別預定經框內預測之區塊的預定框內預測模式之方式對各別預定經框內預測之區塊之各分區進行框內預測2400。另外，該方法2000包含藉由針對各預定經框內預測之區塊對預測殘差進行編碼藉由針對各別預定經框內預測之區塊之各分區將經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號編碼2510至資料串流中而針對各區塊將關於用於各別區塊之預測殘差之資訊編碼2500至資料串流中。另外，該方法2000包含藉由針對各預定經框內預測之區塊對預測殘差進行編碼藉由將一資訊編碼2520至資料串流中而針對各區塊將關於用於各別區塊之預測殘差之資訊編碼2500至資料串流中，該資訊在包括第一變換及第二變換之變換之集合中識別預定變換，變換之集合等於初級變換與應用至初級變換之係數之子集上的二次變換之級聯。對於各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。
圖11展示用於對圖像進行解碼之方法3000，其包含自圖像經寫碼成之資料串流導出1100圖像以該圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法3000包含針對框內預測指派至之經框內預測之區塊中之各者自資料串流導出1200在框內預測模式之集合中的相關聯框內預測模式。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法3000包含自資料串流導出1300一資訊，該資訊在劃分模式之集合中識別各別預定經框內預測之區塊成分區之劃分，劃分模式之集合包括：第一劃分，根據該第一劃分，各別預定經框內預測之區塊經水平地拆分，使得各別預定經框內預測之區塊的分區變得與各別預定經框內預測之區塊一樣寬；第二劃分，根據該第二劃分，各別預定經框內預測之區塊經豎直地拆分，使得各別預定經框內預測之區塊之分區變得與各別預定經框內預測之區塊一樣高；及第三劃分，根據該第三劃分，各別預定經框內預測之區塊經水平地及豎直地拆分，使得各別預定經框內預測之區塊的分區以分區列及分區行配置。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法3000包含以取決於指派至各別預定經框內預測之區塊之預定框內預測模式之方式對各別預定經框內預測之區塊之各分區進行框內預測1400。另外，該方法3000包含藉由針對各別預定經框內預測之區塊之各分區自資料串流導出經由預定變換與各別預定經框內預測之區塊之各別分區的空間域預測殘餘信號相關的針對分區之預測殘餘信號來針對各預定經框內預測之區塊導出預測殘差而針對各區塊自資料串流導出1500關於用於各別區塊之預測殘差之資訊。該方法3000包含使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號重建1600各區塊。
如圖12中所展示，與用於解碼之方法3000並行之用於對圖像進行編碼之方法4000包含將圖像以該圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派編碼2100至該圖像經寫碼成之資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法4000包含針對框內預測指派至之經框內預測之區塊中之各者將框內預測模式之集合中之相關聯框內預測模式編碼2200至資料串流中。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法4000包含將一資訊編碼2300至資料串流中，該資訊在劃分模式之集合中識別各別預定經框內預測之區塊成分區之劃分，劃分模式之集合包括：第一劃分，根據該第一劃分，各別預定經框內預測之區塊經水平地拆分，使得各別預定經框內預測之區塊之分區變得與各別預定經框內預測之區塊一樣寬；第二劃分，根據該第二劃分，各別預定經框內預測之區塊經豎直地拆分，使得各別預定經框內預測之區塊之分區變得與各別預定經框內預測之區塊一樣高；及第三劃分，根據該第三劃分，各別預定經框內預測之區塊經水平地及豎直地拆分，使得各別預定經框內預測之區塊之分區以分區列及分區行來配置。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法4000包含以取決於指派至各別預定經框內預測之區塊之預定框內預測模式之方式對各別預定經框內預測之區塊的各分區進行框內預測2400。另外，該方法4000包含藉由針對各預定經框內預測之區塊對預測殘差進行編碼藉由針對各別預定經框內預測之區塊之各分區將經由預定變換與各別預定經框內預測之區塊之各別分區的空間域預測殘餘信號相關的針對分區之預測殘餘信號編碼至資料串流中而針對各區塊將關於用於各別區塊之預測殘差之資訊編碼2500至資料串流中。對於各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。
圖13展示用於對圖像進行解碼之方法5000，其包含自圖像經寫碼成之資料串流導出1100圖像以該圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法5000包含針對框內預測指派至之經框內預測之區塊中之各者自資料串流導出1200在框內預測模式之集合中的相關聯框內預測模式。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法5000包含：自資料串流導出1300關於各別預定經框內預測之區塊成分區之劃分之資訊；自資料串流導出1350在規則之集合中識別預定規則之資訊，對於各別預定經框內預測之區塊之各分區，使用規則之集合，基於用於各別預定經框內預測之區塊之相關聯框內預測模式在預定框內預測模式之預定子集中判定針對分區之框內預測模式；及使用針對各別分區判定之針對分區之框內預測模式對各別預定經框內預測之區塊的各分區進行框內預測1400。另外，該方法5000包含藉由針對各別預定經框內預測之區塊之各分區自資料串流導出經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號來針對各預定經框內預測之區塊導出預測殘差而針對各區塊自資料串流導出1500關於用於各別區塊之預測殘差之資訊。該方法5000包含使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建1600各區塊。
如圖14中所展示，與用於解碼之方法5000並行之用於對圖像進行編碼之方法6000包含將圖像以該圖像細分成區塊之粒度至包含框內預測及框間預測之預測類型之集合的指派編碼2100至該圖像經寫碼成之資料串流中，使得各區塊指派至預測類型之集合中之相關聯預測類型。該方法6000包含針對框內預測指派至之經框內預測之區塊中之各者將框內預測模式之集合中之相關聯框內預測模式編碼2200至資料串流中。對於相關聯框內預測模式含於預定框內預測模式之預定子集內之預定經框內預測之區塊中之各者，該方法6000包含：將關於各別預定經框內預測之區塊成分區之劃分之資訊編碼2300至資料串流中；將在規則之集合中識別預定規則之資訊編碼2350至資料串流中，針對各別預定經框內預測之區塊之各分區，使用規則之集合，基於用於各別預定經框內預測之區塊之相關聯框內預測模式在預定框內預測模式之預定子集中判定針對分區之框內預測模式；及使用針對各別分區判定之針對分區之框內預測模式對各別預定經框內預測之區塊的各分區進行框內預測2400。另外，該方法6000包含藉由針對各預定經框內預測之區塊對預測殘差進行編碼藉由針對各別預定經框內預測之區塊之各分區將經由預定變換與各別預定經框內預測之區塊的各別分區之空間域預測殘餘信號相關的針對分區之預測殘餘信號編碼至資料串流中而針對各區塊將關於用於各別區塊之預測殘差之資訊編碼2500至資料串流中。對於各區塊，各別區塊可使用關於用於各別區塊之預測殘差之資訊及使用指派至各別區塊之預測類型獲得之預測信號來重建。 其他實施例：
儘管已在設備之上下文中描述一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述之態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(比如微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在一些實施例中，可由此設備執行最重要之方法步驟中之一或多者。
取決於某些實施要求，本發明之實施例可以硬體或以軟體實施。實施可使用數位儲存媒體來執行，該媒體例如軟性磁碟、DVD、Blu-Ray、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體，該媒體上儲存有電子可讀控制信號，該等電子可讀控制信號與可規劃電腦系統協作(或能夠協作)，使得執行各別方法。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，其能夠與可規劃電腦系統協作，使得執行本文中所描述之方法中的一者。
通常，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品在電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中的一者的電腦程式。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體(或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或記錄媒體通常係有形的及/或非暫時性的。
因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包含處理構件，例如電腦或可規劃邏輯裝置，其經組配或調試以執行本文中所描述的方法中之一者。
另一實施例包含電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。舉例而言，接收器可為電腦、行動裝置、記憶體裝置等等。設備或系統可(例如)包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳地由任何硬體設備執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或軟體執行。
上文所描述之實施例僅說明本發明之原理。應理解，熟習此項技術者將顯而易見對本文中所描述之配置及細節的修改及變化。因此，其僅意欲由接下來之申請專利範圍之範疇限制，而非由藉由本文中實施例之描述及解釋所呈現的特定細節限制。
10:設備或編碼器 12,12',110:圖像 14,112:資料串流 20:解碼器 22:預測殘餘信號形成器 24:預測殘差 24',24''':譜域預測殘餘信號 24'',24'''',132:預測殘餘信號 26:預測信號 28:變換器 32:量化器 34:熵寫碼器 36:預測級 38,52:解量化器 40,54:反變換器 42,56:組合器 44,58:預測模組 46:經重建信號 50:熵解碼器 80:經框內寫碼區塊 82:經框間寫碼區塊 84:變換區塊 112a,112c,112d,112e,136,150:資訊 112b:集合選擇語法元素 112f:變換語法元素 113:函數transform_tree 114,127,138,154:集合 116:框內預測 118:框間預測 120:經框內預測之區塊 122,124,140:子集 123a:角度框內預測模式 123b:平面框內預測模式 123c:DC框內預測模式 123d:基於區塊之框內預測模式 125:相關聯框內預測模式 126:選定的劃分 127a:豎直劃分 127b:第二劃分 127c:第三劃分 128:劃分 130,1300 ,1301 ,1302 ,1303 :分區 134:空間域預測殘餘信號 152:針對分區之框內預測模式 1520 :針對第一分區之框內預測模式 1521 :針對第二分區之框內預測模式 1522 :針對第三分區之框內預測模式 1523 :針對第四分區之框內預測模式 1551 ,1552 ,1553 :規則 156:預定規則 160:非零變換域區域 170,172:框內預測方向 213:檢查 313:LfnstDcOnly 1000,2000,3000,4000,5000,6000:方法 1100,1200,1300,1350,1400,1500,1510,1520,1600,2100,2200,2300,2350,2400,2500,2510,2520:步驟 T:預定變換 T-1 :反變換 T1 :第一變換 T2 :第二變換 T1 /Tp :初級變換 Ts :二次變換
圖式未必按比例繪製，實際上重點一般放在說明本發明之原理上。在以下描述中，參看以下圖式描述本發明之各種實施例，其中： 圖1展示編碼器之示意圖； 圖2展示解碼器之示意圖； 圖3展示藉由解碼器對圖像進行基於區塊之重建的示意圖； 圖4展示根據一實施例在待解碼之圖像的區塊之每個分區使用二次變換的示意圖； 圖5展示根據一實施例之定位於圖像之區塊之分區中之非零變換域區域的示意圖； 圖6展示根據一實施例之圖像之區塊之第三劃分的使用之示意圖； 圖7展示根據一實施例之針對分區之框內預測模式的使用之示意圖； 圖8展示根據一實施例之針對分區之角度框內預測模式的使用之示意圖； 圖9展示根據一實施例之用於在待解碼之圖像之區塊之每個分區使用二次變換來對圖像進行解碼之方法的方塊圖； 圖10展示根據一實施例之用於在待編碼之圖像之區塊之每個分區使用二次變換對圖像進行編碼之方法的方塊圖； 圖11展示根據一實施例之用於針對圖像之區塊使用第三劃分對圖像進行解碼之方法的方塊圖； 圖12展示根據一實施例之用於針對圖像之區塊使用第三劃分對圖像進行編碼之方法的方塊圖； 圖13展示根據一實施例之用於針對圖像之區塊使用針對分區之框內預測模式對圖像進行解碼之方法的方塊圖； 圖14展示根據一實施例之用於針對圖像之區塊使用針對分區之框內預測模式來對圖像進行編碼之方法的方塊圖；且 圖15展示根據一實施例之寫碼單元語法。
110:圖像
112:資料串流
112a,112c,112d,112e,136:資訊
112b:集合選擇語法元素
112f:變換語法元素
114,127,138:集合
116:框內預測
118:框間預測
120:經框內預測之區塊
123a:角度框內預測模式
123b:平面框內預測模式
123c:DC框內預測模式
123d:基於區塊之框內預測模式
124,140:子集
126:選定的劃分
127a:豎直劃分
127b:第二劃分
127c:第三劃分
128:劃分
130:分區
132:預測殘餘信號
134:空間域預測殘餘信號
T:預定變換
T-1:反變換
T1:第一變換
T2:第二變換
T1/Tp:初級變換
Ts:二次變換

Claims (64)

  1. 一種用於對一圖像進行解碼之解碼器，其經組配以自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該解碼器經組配以在以下各者之間出決定： 自該資料串流讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標，及推斷該預定變換為該第一變換，以上決定針對該預定經框內預測之區塊之所有分區藉由針對所有分區檢查以下準則中之一或多者且在對於所有分區符合該等以下準則中之該一或多者之情況下決定將讀取該二次變換旗標而執行一次：無非零變換係數位於一預定區域外部，及/或非零係數之該數目超過一預定限制，及/或如由該資料串流中之一最末位置語法元素所指示的沿著自DC係數位置通向一最高頻率係數位置之一掃描路徑之一最末非零係數位置超過另一預定臨限值。
  2. 如請求項1之解碼器，其經組配以每個分區或整區塊地執行該自該資料串流導出在變換之該集合中識別該預定變換之該資訊。
  3. 如請求項1之解碼器，其經組配以整區塊地執行該自該資料串流導出在變換之該集合中識別該預定變換之該資訊。
  4. 如請求項1之解碼器，其經組配以藉由以下操作執行該自該資料串流導出在變換之該集合中識別該預定變換之該資訊：讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之一變換語法元素。
  5. 如請求項1之解碼器，其經組配以藉由以下操作執行該自該資料串流導出在變換之該集合中識別該預定變換之該資訊：自彼資料串流讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標。
  6. 如請求項1之解碼器，其經組配以取決於各別分區沿著該等分區經受框內預測之一次序的一排序、該各別分區之一大小、該預定經框內預測之區塊之一大小及/或該相關聯框內預測模式而針對各分區在該預定變換為該第一變換或該第二變換之間做出決定。
  7. 如請求項1之解碼器，其經組配以取決於該相關聯框內預測模式、一分區大小、一區塊大小、一分區處理排序及/或該劃分，及/或取決於針對該各別預定經框內預測之區塊在該資料串流中傳輸之一二次變換指示語法元素來選擇該二次變換。
  8. 如請求項7之解碼器，其經組配以針對該預定經框內預測之區塊之所有分區或該預定經框內預測之區塊之每個分區執行一次該選擇。
  9. 如請求項1之解碼器，其經組配以以取決於該相關聯框內預測模式之一方式在候選二次變換之一集合中選擇一或多個候選二次變換之一子集，若一或多個候選二次變換之該子集含有多於一個候選二次變換，則取決於針對該各別預定經框內預測之區塊在該資料串流中傳輸之一二次變換指示語法元素在一或多個候選二次變換之該子集中選擇該二次變換。
  10. 如請求項9之解碼器，其經組配以使得候選二次變換之該集合與由該解碼器用於經框內預測未經劃分之其他經框內預測之區塊的二次變換不相交。
  11. 如請求項1之解碼器，其經組配以在該預定變換為該第一變換與該第二變換之間且在不同二次變換候選者之間做出決定，以在區塊層級及分區層級中之不同層級下判定該二次變換。
  12. 如請求項1之解碼器，其中該第一變換為一可分離變換，諸如一DCT或DST，且該二次變換為一不可分離變換。
  13. 如請求項1之解碼器，其經組配以在該等分區之尺寸降至低於一預定臨限值之情況下推斷該預定變換為該第一變換。
  14. 一種用於對一圖像進行解碼之解碼器，其經組配以自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出在劃分模式之一集合中識別使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊的該等分區變得與該各別預定經框內預測之區塊一樣高；及一第三劃分，根據該第三劃分，該各別預定經框內預測之區塊經水平地及豎直地拆分，使得該各別預定經框內預測之區塊的該等分區以分區列及分區行配置，以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一 預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊。
  15. 如請求項14之解碼器，其經組配使得根據該第三劃分，該各別預定經框內預測之區塊在水平及豎直上同等頻率地拆分，使得許多分區列之一數目等於該等分區行之數目。
  16. 如請求項14之解碼器，其經組配以藉由以下操作自該資料串流導出在劃分模式之該集合中識別使該各別預定經框內預測之區塊劃成分區之該劃分的該資訊：讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之一劃分指示符，及使用劃分索引以便在劃分模式之該集合中識別該各別預定經框內預測之區塊的該劃分。
  17. 如請求項16之解碼器，其經組配以藉由以下操作讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之該劃分指示符：讀取由該劃分指示符含有並且指示該各別預定經框內預測之區塊之該劃分是否為該第三劃分之一第一旗標，若該各別預定經框內預測之區塊之該劃分並非該第三劃分，則讀取由該劃分指示符含有並且指示該各別預定經框內預測之區塊之該劃分為該第一劃分抑或該第二劃分之一第二旗標。
  18. 一種用於對一圖像進行解碼之解碼器，其經組配以自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細 分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，自該資料串流導出在規則之一集合中識別一預定規則之一資訊，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，一分區特定之框內預測模式係基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出，使用針對該各別分區判定之該分區特定之框內預測模式對該各別預定經框內預測之區塊的各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊。
  19. 如請求項18之解碼器，其經組配以自該資料串流導出在規則之一集合中識別該預定規則之該資訊，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，該分區特定之框內預測模 式係藉由以下操作基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出：讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之一規則索引，或基於相鄰區塊的特性預測該規則索引，及使用該規則索引以便在規則之該集合中識別該預定規則。
  20. 如請求項18之解碼器，其經組配以使得規則之該集合中之各規則針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式，使得若針對該各別預定經框內預測之區塊之該相關聯框內預測模式為一角度模式，則針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式亦為角度模式，且針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式的一框內預測方向之一均值等於針對該各別預定經框內預測之區塊之該相關聯框內預測模式。
  21. 如請求項18之解碼器，其經組配以使得規則之該集合包含以下各者之一或多個配對：一第一變型規則，其以如下方式針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式：使得當沿著一預定方向在空間上橫穿該等分區時，針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式的該框內預測方向以角度偏離量值自針對該各別預定經框內預測之區塊之該相關聯框內預測模式偏離，該角度偏離量值隨著與該各別預定經框內預測之區塊之一中間的一距離沿著該預定方向並且相較於在該中間下游在該中間上游以相反角度偏離符號單調地增加，及一第二變型規則，其以如下方式針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式：使得對於該各別預定經框內預測之區塊之各分區，針對該各別分區之該分區特定之框內預測模式的該框內預測方向以 一角度偏離量值並以一角度偏離符號自針對該各別預定經框內預測之區塊之該相關聯框內預測模式偏離，該角度偏離量值等於針對該各別分區之該分區特定之框內預測模式之該框內預測方向根據該第一變型規則自針對該各別預定經框內預測之區塊之該相關聯框內預測模式的偏離並且該角度偏離符號與該偏離相反。
  22. 如請求項18之解碼器，其中劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；及一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣高，且在該各別預定經框內預測之區塊之該劃分為該第一劃分之情況下，該預定方向為豎直的，且在該各別預定經框內預測之區塊之該劃分為該第二劃分之情況下，該預定方向為水平的。
  23. 一種用於對一圖像進行解碼之解碼器，其經組配以自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，及 以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該解碼器經組配以基於該各別預定經框內預測之區塊之尺寸依據該等分區之一數目來判定該劃分。
  24. 一種用於對一圖像進行解碼之解碼器，其經組配以使得自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一 劃分的一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該解碼器經組配使得該劃分產生超過二個之多個該等分區。
  25. 一種用於對一圖像進行解碼之解碼器，其經組配以自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一 劃分的一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該解碼器經組配以以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式使用藉由先前分區之該分區特定之預測殘餘信號對針對該等先前分區之一框內預測信號的一校正來依序執行該各別預定經框內預測之區塊之該等分區之該框內預測。
  26. 一種用於對一圖像進行編碼之編碼器，其經組配以將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中， 對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該編碼器經組配以在以下各者之間做出決定：針對來自該資料串流之該各別預定經框內預測之區塊將指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標插入至該資料串流中，及不將針對該各別預定經框內預測之區塊之該二次變換旗標插入至該資料串流中，其中一解碼器可推斷該預定變換為該第一變換，以上決定針對該預定經框內預測之區塊之所有分區藉由針對所有分區檢查以下準則中之一或多者且在對於所有分區符合該等以下準則中之該一或多者之 情況下決定將該二次變換旗標插入至該資料串流中而執行一次：無非零變換係數位於一預定區域外部，及/或非零係數之該數目超過一預定限制，及/或如由該資料串流中之一最末位置語法元素所指示的沿著自DC係數位置通向一最高頻率係數位置之一掃描路徑之一最末非零係數位置超過另一預定臨限值。
  27. 如請求項26之編碼器，其經組配以每個分區或整區塊地執行該將在變換之該集合中識別該預定變換之該資訊編碼至該資料串流中。
  28. 如請求項26之編碼器，其經組配以整區塊地執行該將在變換之該集合中識別該預定變換之該資訊編碼至該資料串流中。
  29. 如請求項26之編碼器，其經組配以藉由以下操作執行該將在變換之該集合中識別該預定變換之該資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊在該資料串流中傳輸一變換語法元素。
  30. 如請求項26之編碼器，其經組配以藉由以下操作執行該將在變換之該集合中識別該預定變換之該資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊在該資料串流中傳輸彼資料串流中之指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標。
  31. 如請求項26之編碼器，其經組配以取決於各別分區沿著該等分區經受框內預測之一次序的一排序、該各別分區之一大小、該預定經框內預測之區塊之一大小及/或該相關聯框內預測模式而針對各分區在該預定變換為該第一變換或該第二變換之間做出決定。
  32. 如請求項26之編碼器，其經組配以取決於該相關聯框內預測模式、一分區大小、一區塊大小、一分區處理排序及/或該劃分來選擇該二次變換，或 針對該各別預定經框內預測之區塊在該資料串流中傳輸一二次變換指示語法元素並且取決於該相關聯框內預測模式、一分區大小、一區塊大小、一分區處理排序及/或該劃分以及該二次變換指示語法元素來選擇該二次變換。
  33. 如請求項32之編碼器，其經組配以針對該預定經框內預測之區塊之所有分區或該預定經框內預測之區塊之每個分區執行一次該選擇。
  34. 如請求項26之編碼器，其經組配以以取決於該相關聯框內預測模式之一方式在候選二次變換之一集合中選擇一或多個候選二次變換之一子集，針對該各別預定經框內預測之區塊在該資料串流中傳輸一二次變換指示語法元素，及若一或多個候選二次變換之該子集含有多於一個候選二次變換，則取決於該二次變換指示語法元素在一或多個候選二次變換之該子集中選擇該等二次變換。
  35. 如請求項34之編碼器，其經組配以使得候選二次變換之該集合與由該編碼器用於經框內預測未經劃分之其他經框內預測之區塊的二次變換不相交。
  36. 如請求項26之編碼器，其經組配以在該預定變換為該第一變換與該第二變換之間且在不同二次變換候選者之間做出決定，以在區塊層級及分區層級中之不同層級下判定該二次變換。
  37. 如請求項26之編碼器，其中該第一變換為一可分離變換，諸如一DCT或DST，且該二次變換為一不可分離變換。
  38. 如請求項26之編碼器，其經組配以使得在該等分區之尺寸降至低於一預定臨限值之情況下推斷該預定變換為該第一變換。
  39. 一種用於對一圖像進行編碼之編碼器，其經組配以 將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將在劃分模式之一集合中識別使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊編碼至該資料串流中，劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊的該等分區變得與該各別預定經框內預測之區塊一樣高；及一第三劃分，根據該第三劃分，該各別預定經框內預測之區塊經水平地及豎直地拆分，使得該各別預定經框內預測之區塊的該等分區以分區列及分區行配置，以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，及 其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建。
  40. 如請求項39之編碼器，其經組配以使得根據該第三劃分，該各別預定經框內預測之區塊在水平及豎直上同等頻率地拆分，使得許多分區列之一數目等於該等分區行之數目。
  41. 如請求項39之編碼器，其經組配以藉由以下操作將在劃分模式之該集合中識別使該各別預定經框內預測之區塊劃成分區之該劃分之該資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊在該資料串流中傳輸一劃分指示符，及使用劃分索引以便在劃分模式之該集合中識別該各別預定經框內預測之區塊的該劃分。
  42. 如請求項41之編碼器，其經組配以藉由以下操作針對該各別預定經框內預測之區塊在該資料串流中傳輸該劃分指示符：傳輸由該劃分指示符含有並且指示該各別預定經框內預測之區塊之該劃分是否為該第三劃分之一第一旗標，若該各別預定經框內預測之區塊之該劃分並非該第三劃分，則傳輸由該劃分指示符含有並且指示該各別預定經框內預測之區塊之該劃分為該第一劃分抑或該第二劃分之一第二旗標。
  43. 一種用於對一圖像進行編碼之編碼器，其經組配以將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一 集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，將在規則之一集合中識別一預定規則之一資訊編碼至該資料串流中，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，一分區特定之框內預測模式係基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出，使用針對該各別分區判定之該分區特定之框內預測模式對該各別預定經框內預測之區塊的各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建。
  44. 如請求項43之編碼器，其經組配以藉由以下操作將在規則之一集合中識別該預定規則之該資訊編碼至該資料串流中，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，該分區特定之框內預測模式係基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出： 針對該各別預定經框內預測之區塊在該資料串流中傳輸一規則索引，或基於相鄰區塊之特性預測該規則索引，及使用該規則索引以便在規則之該集合中識別該預定規則。
  45. 如請求項43之編碼器，其經組配以使得規則之該集合中之各規則針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式，使得若針對該各別預定經框內預測之區塊之該相關聯框內預測模式為一角度模式，則針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式亦為角度模式，且針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式的一框內預測方向之一均值等於針對該各別預定經框內預測之區塊之該相關聯框內預測模式。
  46. 如請求項43之編碼器，其經組配以使得規則之該集合包含以下各者之一或多個配對：一第一變型規則，其以如下方式針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式：使得當沿著一預定方向在空間上橫穿該等分區時，針對該各別預定經框內預測之區塊之該等分區之該分區特定之框內預測模式的該框內預測方向以角度偏離量值自針對該各別預定經框內預測之區塊之該相關聯框內預測模式偏離，該角度偏離量值隨著與該各別預定經框內預測之區塊之一中間的一距離沿著該預定方向並且相較於在該中間下游在該中間上游以相反角度偏離符號單調地增加，及一第二變型規則，其以如下方式針對該各別預定經框內預測之區塊之該等分區判定該分區特定之框內預測模式：使得對於該各別預定經框內預測之區塊之各分區，針對該各別分區之該分區特定之框內預測模式的該框內預測方向以一角度偏離量值並以一角度偏離符號自針對該各別預定經框內預測之區塊之該相關聯框內預測模式偏離，該角度偏離量值等於針對該各別分區之該分區特定 之框內預測模式之該框內預測方向根據該第一變型規則自針對該各別預定經框內預測之區塊之該相關聯框內預測模式的偏離並且該角度偏離符號與該偏離相反。
  47. 如請求項45之編碼器，其中劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；及一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣高，且在該各別預定經框內預測之區塊之該劃分為該第一劃分之情況下，該預定方向為豎直的，且在該各別預定經框內預測之區塊之該劃分為該第二劃分之情況下，該預定方向為水平的。
  48. 一種用於對一圖像進行編碼之編碼器，其經組配以將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測， 藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該編碼器經組配以基於該各別預定經框內預測之區塊之尺寸依據該等分區之一數目來判定該劃分。
  49. 一種用於對一圖像進行編碼之編碼器，其經組配以使得將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及 以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該編碼器經組配以使得該劃分產生超過二個之多個該等分區。
  50. 一種用於對一圖像進行編碼之編碼器，其經組配以將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編 碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該編碼器經組配以以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式使用藉由先前分區之該分區特定之預測殘餘信號對針對該等先前分區之一框內預測信號的一校正來依序執行該各別預定經框內預測之區塊之該等分區之該框內預測。
  51. 一種用以對一圖像進行解碼之方法，其包含自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在 框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該方法包含在以下各者之間做出決定：自該資料串流讀取針對該各別預定經框內預測之區塊在該資料串流中傳輸之指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標，及推斷該預定變換為該第一變換，以上決定針對該預定經框內預測之區塊之所有分區藉由針對所有分區檢查以下準則中之一或多者且在對於所有分區符合該等以下準則中之該一或多者之情況下決定將讀取該二次變換旗標而執行一次： 無非零變換係數位於一預定區域外部，及/或非零係數之該數目超過一預定限制，及/或如由該資料串流中之一最末位置語法元素所指示的沿著自DC係數位置通向一最高頻率係數位置之一掃描路徑之一最末非零係數位置超過另一預定臨限值。
  52. 一種用於對一圖像進行解碼之方法，其包含：自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級 變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該方法包含基於該各別預定經框內預測之區塊之尺寸依據該等分區之一數目來判定該劃分。
  53. 一種用以對一圖像進行解碼之方法，其包含自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中 識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該劃分產生超過二個之多個該等分區。
  54. 一種用以對一圖像進行解碼之方法，其包含自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，自該資料串流導出在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊，變換之該集合等於一初級變換與應用於該初級 變換之係數的一子集上之一二次變換的一級聯，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊，其中該各別預定經框內預測之區塊之該等分區之該框內預測係以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式使用藉由先前分區之該分區特定之預測殘餘信號對針對該等先前分區之一框內預測信號的一校正來依序執行。
  55. 一種用於對一圖像進行解碼之方法，其包含：自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出在劃分模式之一集合中使識別該各別預定經框內預測之區塊劃成分區之一劃分的一資訊，劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊的該等分區變得與該各別預定經框內預測之區塊一樣高；及一第三劃分，根據該第三劃分，該各別預定經框內預測之區塊經水平地及豎直地拆分，使得該各別預定經框內預測之區塊的該等分區以分區列及分區行配置， 以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊。
  56. 一種用於對一圖像進行解碼之方法，其包含：自該圖像經寫碼成之一資料串流導出該圖像的一指派，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者自該資料串流導出在框內預測模式之一集合中的一相關聯框內預測模式，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，自該資料串流導出關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊，自該資料串流導出在規則之一集合中識別一預定規則之一資訊，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，一分區特定之框內預測模式係基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出，使用針對該各別分區判定之該分區特定之框內預測模式對該各別預定 經框內預測之區塊的各分區進行框內預測，藉由藉著以下操作導出針對各預定經框內預測之區塊的一預測殘差而針對各區塊自該資料串流導出關於針對該各別區塊之該預測殘差之一資訊：針對該各別預定經框內預測之區塊之各分區自該資料串流導出經由一預定變換與該各別預定經框內預測之區塊的該各別分區之一空間域預測殘餘信號相關的一分區特定之預測殘餘信號，及使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建各區塊。
  57. 一種用以對一圖像進行編碼之方法，其包含將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各 別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該方法包含在以下各者之間做出決定：針對來自該資料串流之該各別預定經框內預測之區塊將指示該預定變換為該第一變換抑或該第二變換之一二次變換旗標插入至該資料串流中，及不將針對該各別預定經框內預測之區塊之該二次變換旗標插入至該資料串流中，其中一解碼器可推斷該預定變換為該第一變換，以上決定針對該預定經框內預測之區塊之所有分區藉由針對所有分區檢查以下準則中之一或多者且在對於所有分區符合該等以下準則中之該一或多者之情況下決定將該二次變換旗標插入至該資料串流中而執行一次：無非零變換係數位於一預定區域外部，及/或非零係數之該數目超過一預定限制，及/或如由該資料串流中之一最末位置語法元素所指示的沿著自DC係數位置通向一最高頻率係數位置之一掃描路徑之一最末非零係數位置超過另一預定臨限值。
  58. 一種用於對一圖像進行編碼之方法，其包含：將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型， 針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該方法包含基於該各別預定經框內預測之區塊之尺寸依據該等分區之一數目來判定該劃分。
  59. 一種對一圖像進行編碼之方法，其包含將該圖像的一指派編碼至該圖像經寫碼成之該資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集 合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該劃分產生超過二個之多個該等分區。
  60. 一種對一圖像進行編碼之方法，其包含將該圖像的一指派編碼至該圖像經寫碼成之該資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集 合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，及以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一分區特定之預測殘餘信號編碼至該資料串流中，將在包括一第一變換及一第二變換之變換之一集合中識別該預定變換之一資訊編碼至該資料串流中，變換之該集合等於一初級變換與應用於該初級變換之係數的一子集上之一二次變換的一級聯，及其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建，其中該各別預定經框內預測之區塊之該等分區之該框內預測係以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式使用藉由先前分區之該分區特定之預測殘餘信號對針對該等先前分區之一框內預測信號的一校正來依序執行。
  61. 一種用於對一圖像進行編碼之方法，其包含：將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將在劃分模式之一集合中識別使該各別預定經框內預測之區塊劃成分區之一劃分的一資訊編碼至該資料串流中，劃分模式之該集合包括：一第一劃分，根據該第一劃分，該各別預定經框內預測之區塊經水平地拆分，使得該各別預定經框內預測之區塊之該等分區變得與該各別預定經框內預測之區塊一樣寬；一第二劃分，根據該第二劃分，該各別預定經框內預測之區塊經豎直地拆分，使得該各別預定經框內預測之區塊的該等分區變得與該各別預定經框內預測之區塊一樣高；及一第三劃分，根據該第三劃分，該各別預定經框內預測之區塊經水平地及豎直地拆分，使得該各別預定經框內預測之區塊的該等分區以分區列及分區行配置，以取決於指派至該各別預定經框內預測之區塊之該預定框內預測模式之一方式對該各別預定經框內預測之區塊之各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一 分區特定之預測殘餘信號編碼至該資料串流中，且其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建。
  62. 一種用於對一圖像進行編碼之方法，其包含：將該圖像的一指派編碼至該圖像經寫碼成之一資料串流中，該圖像以該圖像細分成區塊之一粒度被指派至包含框內預測及框間預測之預測類型之一集合，使得各區塊指派至預測類型之該集合中之一相關聯預測類型，針對該框內預測指派至之經框內預測之區塊中之各者將框內預測模式之一集合中之一相關聯框內預測模式編碼至該資料串流中，對於該相關聯框內預測模式含於預定框內預測模式之一預定子集內之預定經框內預測之區塊中之各者，將關於使該各別預定經框內預測之區塊劃成分區之一劃分之一資訊編碼至該資料串流中，將在規則之一集合中識別一預定規則之一資訊編碼至該資料串流中，使用該預定規則，對於該各別預定經框內預測之區塊之各分區，一分區特定之框內預測模式係基於針對該各別預定經框內預測之區塊之該相關聯框內預測模式從預定框內預測模式之該預定子集中判定出，使用針對該各別分區判定之該分區特定之框內預測模式對該各別預定經框內預測之區塊的各分區進行框內預測，藉由藉著以下操作對針對各預定經框內預測之區塊之一預測殘差進行編碼來針對各區塊將關於針對該各別區塊之該預測殘差之一資訊編碼至該資料串流中：針對該各別預定經框內預測之區塊之各分區將經由一預定變換與該各別預定經框內預測之區塊之該各別分區的一空間域預測殘餘信號相關的一 分區特定之預測殘餘信號編碼至該資料串流中，且其中對於各區塊，該各別區塊可使用關於針對該各別區塊之該預測殘差之該資訊及使用指派至該各別區塊之該預測類型獲得之一預測信號來重建。
  63. 一種電腦程式，其用於實施如請求項51、或請求項55、或請求項56、或請求項57、或請求項61、或請求項62之方法。
  64. 一種資料串流，其可藉由如請求項57、或請求項58、或請求項59、或請求項60、或請求項61、或請求項62之方法獲得。
TW109121701A 2019-06-25 2020-06-24 包含用於框內子分區之寫碼之解碼器、編碼器及方法 TWI779306B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
EP19182425.9 2019-06-25
EP19182425 2019-06-25
EP19191601.4 2019-08-13
EP19191601 2019-08-13
EP19199382.3 2019-09-24
EP19199382 2019-09-24

Publications (2)

Publication Number Publication Date
TW202110192A TW202110192A (zh) 2021-03-01
TWI779306B true TWI779306B (zh) 2022-10-01

Family

ID=71103403

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109121701A TWI779306B (zh) 2019-06-25 2020-06-24 包含用於框內子分區之寫碼之解碼器、編碼器及方法

Country Status (9)

Country Link
US (1) US20220124372A1 (zh)
EP (1) EP3991407A1 (zh)
JP (1) JP2022538160A (zh)
KR (1) KR20220037434A (zh)
CN (1) CN114097223A (zh)
BR (1) BR112021026257A2 (zh)
MX (1) MX2021016011A (zh)
TW (1) TWI779306B (zh)
WO (1) WO2020260313A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162737A1 (ko) 2019-02-08 2020-08-13 주식회사 윌러스표준기술연구소 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
CN113491116A (zh) 2019-02-28 2021-10-08 韦勒斯标准与技术协会公司 基于帧内预测的视频信号处理方法和装置
CN117640936A (zh) * 2019-07-12 2024-03-01 Lg电子株式会社 图像编码方法、图像解码方法、存储介质以及发送方法
CA3151584C (en) * 2019-09-20 2024-04-02 Jani Lainema An apparatus, a method and a computer program for video coding and decoding
JP7299413B2 (ja) * 2019-09-21 2023-06-27 エルジー エレクトロニクス インコーポレイティド 変換に基づく映像コーディング方法及びその装置
WO2021086061A1 (ko) * 2019-10-29 2021-05-06 엘지전자 주식회사 변환에 기반한 영상 코딩 방법 및 그 장치
WO2023197179A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器
CN116156170B (zh) * 2023-04-24 2024-04-16 北京中星微人工智能芯片技术有限公司 数据流的发送方法、装置、电子设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3029055B1 (fr) * 2014-11-24 2017-01-13 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
FR3038484B1 (fr) * 2015-07-01 2017-07-28 Ateme Procede d'encodage d'image et equipement pour la mise en oeuvre du procede
CN114449289A (zh) * 2016-08-24 2022-05-06 索尼公司 图像编码设备和图像编码方法
CN116320495A (zh) * 2016-11-28 2023-06-23 韩国电子通信研究院 用于滤波的方法和装置
MX2020001377A (es) * 2017-08-04 2020-03-09 Lg Electronics Inc Metodo y aparato para configurar una transformacion para compresion de video.
EP3629579A1 (en) * 2018-09-27 2020-04-01 Ateme Method for image processing and apparatus for implementing the same
US20200252608A1 (en) * 2019-02-05 2020-08-06 Qualcomm Incorporated Sub-partition intra prediction
CN113491116A (zh) * 2019-02-28 2021-10-08 韦勒斯标准与技术协会公司 基于帧内预测的视频信号处理方法和装置
AU2019201653A1 (en) * 2019-03-11 2020-10-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a tree of blocks of video samples
US11172211B2 (en) * 2019-04-04 2021-11-09 Tencent America LLC Method and apparatus for video coding
US11202070B2 (en) * 2019-05-30 2021-12-14 Hulu, LLC Parallel bi-directional intra-coding of sub-partitions

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
網路文獻 "CE6: Reduced Secondary Transform (RST) (CE6-3.1)" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Geneva, CH, 19–27 March 2019; *
網路文獻 "Intra prediction modes based on neural networks" Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10–20 Apr. 2018 *

Also Published As

Publication number Publication date
MX2021016011A (es) 2022-02-22
KR20220037434A (ko) 2022-03-24
CN114097223A (zh) 2022-02-25
BR112021026257A2 (pt) 2022-03-03
US20220124372A1 (en) 2022-04-21
TW202110192A (zh) 2021-03-01
JP2022538160A (ja) 2022-08-31
WO2020260313A1 (en) 2020-12-30
EP3991407A1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
TWI779306B (zh) 包含用於框內子分區之寫碼之解碼器、編碼器及方法
JP7459319B2 (ja) 統合変換タイプ通知および変換タイプ依存変換係数レベルコーディング
KR20220006059A (ko) 비디오 처리를 위한 이차 변환 행렬의 선택
KR20220006055A (ko) 다중 인트라 코딩 방법 사이의 상호 작용
TWI830012B (zh) 圖片編碼的裝置和方法
TWI789668B (zh) 脈絡適應性二進制算術寫碼用參數化體系決定技術
US11303898B2 (en) Coding transform coefficients with throughput constraints
US20180324441A1 (en) Method for encoding/decoding image and device therefor
JP7399973B2 (ja) イントラ予測ベースのビデオ信号処理方法及び装置
US11770527B2 (en) Encoding and decoding a picture
US20220210430A1 (en) Method and device for coding/decoding image using differential coding of residual coefficient, and method for transmitting bitstream
KR20200130864A (ko) 참조 샘플을 이용하는 비디오 신호 처리 방법 및 장치
JP2022518612A (ja) ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体
US10506259B2 (en) Method for encoding/decoding image, and device therefor
AU2020354500B2 (en) Efficient implementation of matrix-based intra-prediction
KR20210135314A (ko) 효율적인 파티션-기반 인트라 코딩 개념의 구현
JP7436663B2 (ja) サンプルブロックの変換済み表現についてのコーディングコンセプト
KR20220056846A (ko) 향상된 손실 없는 압축을 위한 인코더, 디코더, 방법, 및 컴퓨터 프로그램
KR20240050409A (ko) 비디오 신호 처리 방법 및 이를 위한 장치
CN114303386A (zh) 用于处理视频信号的方法和装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent