TWI706667B - 隱式變換設置 - Google Patents

隱式變換設置 Download PDF

Info

Publication number
TWI706667B
TWI706667B TW108112931A TW108112931A TWI706667B TW I706667 B TWI706667 B TW I706667B TW 108112931 A TW108112931 A TW 108112931A TW 108112931 A TW108112931 A TW 108112931A TW I706667 B TWI706667 B TW I706667B
Authority
TW
Taiwan
Prior art keywords
transformation
block
transform
setting
settings
Prior art date
Application number
TW108112931A
Other languages
English (en)
Other versions
TW201944777A (zh
Inventor
江嫚書
陳俊嘉
徐志瑋
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201944777A publication Critical patent/TW201944777A/zh
Application granted granted Critical
Publication of TWI706667B publication Critical patent/TWI706667B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明一方面提供了一種視訊編碼器，其隱含地發送用於編碼像素塊的變換設置。視訊編碼器基於塊處理設置導出像素塊的變換設置。視訊編碼器依據塊處理設置處理像素塊。 對於編碼，視訊編譯碼器依據變換設置變換一組殘差像素以產生一組變換係數。 對於解碼，視訊編譯碼器依據變換設定對變換係數進行逆變換以產生一組殘差像素。

Description

隱式變換設置
本發明是有關於視訊處理。特别地，本發明涉及變換設置的隱式信令（signaling）。
除非本文另有說明，否則本部分中描述的方法不是本發明請求項的習知技術，並且不作為習知技術而包括在本部分中。
高效視訊編碼（High-Efficiency Video Coding, HEVC）是由視訊編碼聯合協作小組（Joint Collaborative Team on Video Coding, JCT-VC）開發的新的國際視訊編碼標準。HEVC是基於混合塊的運動補償離散餘弦變換（Discrete Cosine Transform, DCT）編碼架構。用於壓縮的基本單元（稱為編碼單元（coding unit, CU））是2N×2N方塊，並且每個CU可以遞歸地分成四個較小的CU，直到達到預定義的最小尺寸。每個CU包含一個或多個預測單元（prediction units, PU）。對於每個PU，可以使用畫面內預測或畫面間預測。雖然時間重建參考訊框用於畫面間預測模式中的預測，但同一畫面內的空間重建像素用於畫面內預測模式。在預測之後，將一個CU的預測殘差劃分為變換單元（transform units, TU）並使用變換和量化來編碼。與許多其他先例標準一樣，HEVC採用離散餘弦變換II型（Discrete Cosine Transform type II, DCT-II）作為其核心變換，因為它具有強大的“能量壓縮”特性。
為了實作HEVC中混合編碼架構的最佳編碼效率，對於畫面間預測模式，存在三種不同模式，包括跳過，合併和畫面間高級運動矢量預測（Inter Advanced Motion Vector Prediction, AMVP）模式。
當以畫面間AMVP模式編碼PU時，利用可與運動向量預測器（Motion Vector Predictors, MVP）一起使用的已發送的運動向量差（transmitted motion vector differences, MVD）來執行運動補償預測，以用於導出運動向量（MV）。為了在畫面間AMVP模式中確定MVP，使用高級運動矢量預測（AMVP）方案來選擇AMVP候選集中的運動矢量預測器，其包括兩個空間MVP和一個時間MVP。因此，在AMVP模式中，需要對MVP的MVP索引和相應的MVD進行編碼和傳輸。另外，與用於每個列表的參考訊框索引一起，指定列表0和列表1的雙向預測和單向預測中的預測方向的畫面間預測方向被編碼和被發送。
當以跳過或合併模式編碼PU時，除了所選候選的合併索引之外，不發送運動信息。這是因為跳過和合併模式利用運動推斷方法（MV = MVP + MVD，其中MVD為零）來從位於同位圖像的空間相鄰塊（空間候選）或時間塊（時間候選）獲得運動信息。其中同位圖像是列表0或列表1中的第一參考圖像，其在切片報頭中被發送。在跳過PU的情況下，殘差訊號可被省略。
以下發明內容僅是說明性的，不打算以任何方式加以限制。也就是說，以下發明內容被提供以介紹此處所描述的新且非顯而易見的技術的概念、重點、好處和優勢。選擇而不是所有的實施方式在下面的詳細說明中進行進一步描述。因此，以下發明內容不用於確定所要求主題的本質特徵，也不用於確定所要求主題的範圍。
本發明的一些實施例提供一種視訊編解碼器，其隱含地發送用於編解碼像素塊的變換設定。視訊編解碼器基於塊處理設置導出像素塊的變換設置。視訊編解碼器依據塊處理設置處理像素塊。對於編碼，視訊編解碼器依據變換設置變換一組殘差像素以產生一組變換係數。對於解碼，視訊編解器依據變換設定對變換係數進行逆變換以產生一組殘差像素。
在一些實施例中，變換設置包括基於像素塊的塊處理設置從多個候選變換模式中選擇的目標變換模式。在一些實施例中，基於變換標誌從至少一個第一組和至少一個第二組中選擇目標變換組，多個候選變換模式屬於第一組或第二組，目標變換模式為從屬於目標變換組的候選變換模式中選擇。在一些實施例中，從位元流解析變換標誌或者依據塊處理設置確定變換標誌。在一些其他實施例中，依據從位元流或塊處理設置導出的索引來確定目標變換模式。在一些其他實施例中，候選變換模式中的至少一個包括用於水平變換的變換類型和用於垂直變換的變換類型。在一些其他實施例中，變換設置不包括在位元流中作為語法元素。在一些實施例中，變換標誌和/或變換索引不在位元流中作為語法元素而被發送，而是從塊處理設置導出。
在一些實施例中，塊處理設置控制廣義雙預測（Generalized Bi-prediction, GBi）操作，其在產生預測像素集合時對不同預測子應用不同權重。塊處理設置包括用於選擇預測子的權重的權重選擇索引。視訊編解碼器透過基於權重選擇索引從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置控制局部照明補償（Local Illumination Compensation, LIC）操作，其使用像素塊的相鄰樣本和參考像素塊的相鄰樣本來對像素塊應用照明調整。塊處理設置包括用於啟用LIC操作的LIC標誌。視訊編碼器透過基於LIC標誌從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置控制畫面間預測操作。塊處理設置包括高級運動矢量分辨率（Advance Motion Vector Resolution, AMVR）操作，其利用用於選擇運動矢量差的分辨率的分辨率選擇索引，來切換運動矢量和像素塊的運動預測子之間的運動矢量差的分辨率。視訊編解碼器透過基於分辨率選擇索引，從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置控制重疊塊運動補償（Overlapped Block Motion Compensation, OBMC）操作，以使用不同的運動矢量來平滑像素塊的分區之間的邊界。塊處理設置包括用於啟用OBMC操作的OBMC標誌。視訊編碼器透過基於OBMC標誌從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置控制畫面間預測操作。塊處理設置包括合併候選索引，其選擇一組一個或多個合併候選中的一個。視訊編解碼器透過基於合併索引從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置包括運動候選的預測方向。視訊編碼器透過基於預測方向從多個變換模式中選擇變換模式來導出變換設置。
在一些實施例中，塊處理設置控制子塊變換（Sub-Block Transform, SBT）操作，其將像素塊劃分為多個子塊，並且對多個子塊中的特定子塊執行變換。塊處理設置包括特定子塊的方向，特定子塊的寬度或高度，以及特定子塊的位置。視訊編碼器透過基於塊處理設置從多個變換模式中選擇變換模式來導出變換設置。在一些實施例中，變換設置指定是否應用子塊變換（SBT）。
在以下詳細描述中，透過示例闡述了許多具體細節，以便提供對相關教導的透徹理解。基於本文描述的教導的任何變化，衍生物和/或擴展都在本公開的保護範圍內。在一些實例中，可以在沒有細節的情況下以相對較高的級別描述與本文公開的一個或多個示例實作有關的公知方法，過程，組件和/或電路，以避免不必要地模糊本公開的教導的各方面。
本發明的一些實施例提供視訊譯碼器，其依據一組預定義規則隱式地發訊號通知變換設定，其中視訊譯碼器可表示編碼器或解碼器。變換設置可以指定包括垂直變換類型和水平變換類型的變換模式。具體地，視訊譯碼器可基於視訊譯碼器中的塊處理設定來導出變換設置。在一些實施例中，用於導出變換設置的塊處理設置是塊處理工具的設置。
在一些實施例中，自適應多變換（Adaptive Multiple Transform, AMT）方案用於定義用於畫面內和畫面間編碼塊的殘差編碼的變換設置。 AMT方案使用從DCT / DST系列中選擇的變換模式，包括離散正弦變換類型VII（Discrete Sine Transform type VII, DST-VII），離散餘弦變換類型VIII（Discrete Cosine Transform type VIII, DCT-VIII），離散正弦變換類型I（Discrete Sine Transform type I, DST-I）和離散餘弦變換類型V（Discrete Cosine Transform Type V, DCT-V）。在一些實施例中，多變換選擇（multiple transform selection, MTS）方案用於定義用於畫面內和畫面間編碼塊的殘差編碼的變換設置。 MTS方案使用從DCT / DST系列中選擇的變換模式，包括離散正弦變換類型VII（Discrete Sine Transform type VII, DST-VII），離散餘弦變換類型VIII（Discrete Cosine Transform type VIII, DCT-VIII）。
在一些實施例中，在AMT方案中使用的多個變換模式被劃分為變換組1和變換組2。變換模式的數量（包括在變換組1中）被表示為A，其中A可以是0, 1, 2, …, a。變換組2中的變換模式的數量表示為B，其中B可以是0,1,2，...，b。A加B等於變換模式的總數。在一些實施例中，變換模式可以為水平變換分配一個變換類型，也為垂直變換分配一個變換類型。 （例如，DCT-II可以被分配用於水平變換，DST-VII可以被分配用於垂直變換。）在一些實施例中，如果A和B都大於0，則發送變換標誌以指示所選擇的變換組。如果由變換標誌指示的所選變換組中的變換模式的數量大於1，則額外的變換索引被發送以指示所選變換模式。
在一些實施例中，MTS方案中使用的多個變換模式由變換索引指示，其在位元流作為語法元素被發送。在一些實施例中，依據變換設置來指定是否應用子塊變換（subblock transform, SBT）。在一些實施例中，應用對變換類型的隱式分配，因此可以不用訊號通知變換標誌或變換索引，或者變換標誌和變換索引。在一些實施例中，隱式指示用於隱式地選擇變換組1或變換組2而不用訊號通知變換標誌。在一些實施例中，透過用訊號通知變換標誌而不用訊號通知變換索引，從一個特定變換組隱式地確定變換模式。在一些實施例中，隱式地確定變換模式而不用訊號通知變換標誌和變換索引。
在一些實施例中，依據預定義規則隱式地確定變換設置，使得在發送變換模式時基於塊處理設置隱式地確定變換標誌和變換索引。在一些實施例中，變換設置的隱式信令減少了用於依據預定義規則發訊號通知變換設置的語法，使得在明確地發訊號通知變換標誌時僅基於塊處理設置隱式地確定變換索引，或者明確地用訊號通知變換索引的同時，基於塊處理設置隱式地確定變換標誌。
如上所述，在一些實施例中，基於像素塊的塊處理設置隱含地確定用於編碼像素塊的變換設置（例如，變換模式）。塊處理設置用於控制塊處理工具的操作。塊處理工具包括在像素塊被編碼或解碼時處理像素塊的視訊編碼器的功能。塊處理工具可以包括變換和/或逆變換函數，畫面間和/或畫面內預測函數，或像素濾波操作，其中變換和/或逆變換函數，在頻域和像素域之間變換視訊資料；畫面間和/或畫面內預測函數，參考相同視訊圖像或不同圖像的像素以產生預測像素；像素濾波操作用於去除塊或子塊之間的失真。在一些實施例中，用於導出變換設置的塊處理設置在位元流中被編碼為語法元素。在一些實施例中，用於導出變換設置的塊處理設置不在位元流中編碼。
第1圖概念性地示出了基於視訊編碼器中的塊處理設置隱式確定的變換設置。該圖示出了視訊編碼器從視訊源110接收原始像素。原始像素屬於視訊序列的視訊圖像。視訊編碼器將屬於視訊圖像的原始像素劃分為像素塊(例如，CU)以作為語法元素而被編碼於位元流190中。視訊編碼器包括像素值加法器115，塊處理工具130，其包括變換模組120和預測模組135，塊處理設置140，變換設置導出模組150和一組變換設置160。在一些實施例中，模組120-160是由計算設備或電子設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組120-160是由電子設備的一個或多個集成電路(IC)實作的硬件電路的模組。儘管模組120-160被示為單獨的模組，但是一些模組可以組合成單個模組。
像素值加法器115基於接收的原始像素接收像素值，並從預測模組135減去預測像素值以產生殘差像素值。由像素值加法器115處理的像素值可以由塊處理工具130修改。由減法產生的殘差像素值由變換模組120編碼為變換係數，其由視訊編碼器進一步處理以被編碼為位元流190的語法元素。塊處理工具130的操作由塊處理設置140控制。變換模組120的操作由變換設置160控制，其由變換設置導出模組150自塊處理設置140而被隱含地導出。
變換模組120可以包括多個不同的變換引擎，諸如用於DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V變換類型的變換引擎，或者上述變換類型的任何子集。變換設置160選擇使用哪個變換引擎將殘差值變換為像素塊的變換係數。變換設置160還提供所選變換引擎的參數。
塊處理工具130可以包括當前視訊圖像中的參考像素的畫面內預測和用於時間上不同視訊圖像中的參考像素的畫面間預測的引擎(例如，預測模組135)。塊處理工具130可以包括多個不同的預測引擎或組件，諸如運動估計，運動補償，畫面內圖像估計，畫面內圖像預測。塊處理工具130還可以包括進一步修改塊像素的其他引擎或組件。這些組件的操作由塊處理設置140控制。變換模組120和塊處理工具130將在示例視訊編碼器的上下文中透過參考第8圖進一步描述。
塊處理設置140可以由視訊編碼器的速率失真控制引擎(未示出)来確定。塊處理設置140可以或可以不被明確地編碼為位元流190中的語法元素。另外，變換設置160從塊處理設置140導出或映射，並且不在位元流中編碼為語法元素。
塊處理設置140可以啟用或控制影響預測像素或殘差的計算的操作，諸如廣義雙向預測(Generalized Bi-prediction,GBi)，局部照明補償(Local Illumination Compensation,LIC)，高級運動矢量分辨率(Advanced Motion Vector Resolution,AMVR)，重疊塊運動補償(Overlapped Block Motion Compensation,OBMC)，子塊變換(Sub-Block Transform,SBT)，合併候選索引，合併候選類型，和運動候選方向(List-0/List-1單向預測或雙向預測)的操作。從塊處理設置中導出變換設置將在下面的第I至VII部分中描述。
第2圖概念性地示出了基於視訊解碼器200中的塊處理設置的變換設置的隱式確定過程。該圖示出了視訊解碼器200接收位元流290的語法元素。視訊解碼器200對語法元素進行解碼以重建視訊序列的視訊圖像。對像素塊的語法元素進行解碼以重建視訊圖像以便在視訊顯示器210處進行傳輸或顯示。
視訊解碼器200包括像素值加法器215，塊處理工具230，其包括逆變換模組220和預測模組235，塊處理設置240，變換設置導出模組250和變換設置260。在一些實施例中，模組215-260是由計算設備或電子設備的一個或多個處理單元（例如，處理器）執行的軟體指令的模組。在一些實施例中，模組215-260是由電子設備的一個或多個集成電路（IC）實作的硬件電路的模組。儘管模組215-260被示為單獨的模組，但是一些模組可以組合成單個模組。逆變換模組220基於來自位元流290的語法元素接收變換係數。逆變換模組220對變換係數執行逆變換以產生殘差像素值。像素值加法器215將殘差像素值與來自預測模組235的預測像素相加以產生用於視訊顯示器210的已解碼像素。由像素值加法器215處理的像素值可以由塊處理工具230進一步修改。塊處理工具230的操作由塊處理設置240控制。逆變換模組220的操作由變換設置260控制，變換設置260由變換設置導出模組250從塊處理設置240導出。
逆變換模組220可包括多個不同的逆變換引擎，諸如用於DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V的變換引擎或上述變換類型的任何子集。變換設置260選擇使用哪個變換引擎將變換係數逆變換為像素塊的殘差像素值。變換設置260還提供所選變換引擎的參數。
塊處理工具230可以包括當前視訊圖像中的參考像素的畫面內預測和用於時間上不同視訊圖像中的參考像素的畫面間預測的引擎（例如，預測模組235）。塊處理工具230可以包括多個不同的預測引擎或組件，例如運動補償和圖像內預測。塊處理工具230還可以包括修改塊的像素的其他引擎或組件。這些組件的操作由塊處理設置240控制。逆變換模組220和塊處理工具230將在示例視訊解碼器的上下文中透過參考第11圖進一步描述。
塊處理設置240可以或可以不被明確地編碼為位元流290中的語法元素。變換設置260從塊處理設置240導出或映射，並且不在位元流290中編碼為語法元素。
塊處理設置可以啟用或控制影響預測像素或殘差的計算的操作，諸如GBi，LIC，AMVR，OBMC和SBT，合併候選索引，合併候選類型和運動候選方向（ List-0 / List-1單向預測或雙向預測）的操作。從塊處理設置中導出變換設置將在下面的第I至VII部分中描述。
在一些實施例中，當使用塊處理設置來隱式地導出變換設置時，隱式推導可以進一步以諸如大小約束，塊形狀，時間層，切片類型等的約束為條件。在一些實施例中，隱式推導變換設置可以進一步以諸如切片級別，圖像級別等處的控制標誌之類的顯式約束為條件。在一些實施例中，塊處理設置被映射到或分配給不同的變換模式，變換類型，變換標誌值，或轉換指數。
I. 基於GBi設置導出變換設置
廣義雙向預測（GBi）是加權雙預測技術，其允許分別使用來自L0和L1的預測值的不同權重，而不是使用相等權重。它使用塊級自適應權重計算塊的預測訊號作為兩個運動補償預測塊的加權平均，其中權重值不限於0.5。視訊譯碼器可透過使用索引（GBi索引）從一組候選權重中選擇候選權重來指示GBi（GBi權重）的權重值。GBi的更多細節可以在文獻JVET-C0047中找到。
在一些實施例中，對於透過AMVP模式編碼的像素塊，可以從GBi的設置導出變換設置的隱式分配，諸如用於指示GBi權重的GBi索引（或權重選擇索引）。 具體地，塊的GBi索引用於導出特定變換設置，使得不同的可能GBi索引被映射到或分配給不同的變換模式，變換標誌值或變換索引。
例如，可以將一個預定GBi索引隱式地映射到一個預定變換組。預定GBi索引可以由具有固定條目的表指定或由固定等式{GBi索引％N == n}指定，其中N和n是預定整數。例如，偶數GBi索引（0, 2, ...）可以隱式映射到變換組1，而奇數GBi索引（1, 3, ...）可以隱式映射到變換組2。變換標誌可以不發出訊號。
在一些實施例中，將一個預定GBi索引隱式地映射到變換組中的一個預定變換模式。預定GBi索引可以由具有固定條目的表格指定或由固定方程式指定，例如{GBi 索引％N == n}，其中N和n是預定的。例如，依據預定表，當變換組1由變換標誌指示時，偶數GBi索引（0,2, ...）可以隱式地映射到變換組1中的一個變換模式，而奇數GBi索引（1,3, ...）可以隱式映射到變換組1中的另一變換模式。類似地，依據預定表，當變換組2由變換標誌指示時，偶數GBi索引可以隱式地映射到變換組2中的變換模式，而奇數GBi索引可以隱式地映射到變換組2中的另一變換模式。可以不用訊號通知變換索引。
在一些實施例中，將一個預定GBi索引隱式映射到一個預定變換模式。預定GBi索引可以由具有固定條目的表格指定或由固定方程式指定，例如{GBi索引％N == n}，其中N和n是預定的。例如，依據預定表，偶數GBi索引可以隱式地映射到一個變換模式，而奇數GBi索引可以隱式地映射到另一個變換模式。可以不用訊號通知變換標誌和變換索引。
在一些實施例中，對於透過合併模式編碼的像素塊，可以從繼承自所選合併候選的GBi索引導出變換設置的隱式映射。一個預定的GBi索引被隱式映射到一個預定的變換模式。預定GBi索引可以由具有固定條目的表格指定或由固定方程式指定，例如{GBi索引％N == n}，其中N和n是預定的。例如，依據預定表，偶數GBi索引可以隱式地映射到一個變換模式，而奇數GBi索引可以隱式地映射到另一個變換模式。可以不用訊號通知變換標誌和變換索引。
II. 依據LIC設置導出變換設置
局部照明補償（LIC）是透過使用當前塊的相鄰樣本和參考塊的相鄰樣本來執行畫面間預測以將照明調整應用於當前塊的預測的方法。它基於使用比例因子a和偏移b的線性模型。它透過參考當前塊的相鄰樣本和參考塊的相鄰樣本來導出縮放因子a和偏移b。此外，它針對每個CU自適應地啟用或禁用。
在一些實施例中，對於透過AMVP模式編碼的像素塊，可以從LIC的設置導出變換設置的隱式分配，諸如指示是否啟用LIC的LIC標誌。例如，當LIC標誌指示LIC被啟用時，變換設置被設置為隱式地選擇變換組1中的變換模式。當LIC標誌指示LIC被禁用時，變換設置被設置為隱式地選擇變換組2中的變換模式。可能不會發送變換標誌。在一些實施例中，變換模式從多個變換類型指定水平變換類型和垂直變換類型。
在一些實施例中，對於透過AMVP模式編碼的像素塊，當變換標誌指示變換組1時，如果啟用LIC，則變換設置被設置為依據預定表隱式地選擇變換組1中的一個變換模式。如果禁用LIC，則將變換設置設置為依據預定表隱式地選擇變換組1中的另一變換模式。類似地，當變換標誌指示變換組2時，如果啟用LIC，則變換設置被設置為依據預定表隱式地選擇變換組2中的一個變換模式。如果禁用LIC，則將變換設置設置為依據預定表隱式地選擇變換組2中的另一變換模式。可能不會發訊號通知變換索引。
在一些實施例中，對於透過AMVP模式編碼的像素塊，當啟用LIC時，變換設置被設置為依據預定表隱式地選擇一個變換模式。當禁用LIC時，變換設置被設置為隱式選擇另一種變換模式。可以發送變換標誌和變換索引。
在一些實施例中，對於由合併模式編碼的像素塊，可以從繼承自所選合併候選的LIC標誌導出變換設置的隱式分配。在一些實施例中，當透過繼承的LIC標誌啟用LIC時，變換設置被設置為依據預定表隱式地選擇一個變換模式。當LIC被繼承的LIC標誌禁用時，變換設置被設置為隱式選擇另一種變換模式。可以不發送變換標誌和變換索引。
III. 基於AMVR設置導出變換設置
在一些實施例中，視訊譯碼器使用高級運動向量分辨率（AMVR）模式來改善編碼增益。 AMVR自適應地切換運動矢量差（MVD）的分辨率。運動矢量差（MVD）（在最終MV和PU的MV​​預測器之間）可以用四分之一像素分辨率或整數像素分辨率來編碼。在編碼單元（CU）級別控制切換，並且（有條件地）發送整數MVD分辨率標誌。
在一些實施例中，對於透過AMVP模式編碼的像素塊，可以從AMVR的設置導出變換設置的隱式分配，例如MVD分辨率，其由AMVR索引（或分辨率選擇索引）指示。預定的AMVR索引可以隱式地映射到一個變換組的變換模式。預定的AMVR索引可以由具有固定條目的表格指定或由固定方程式指定，例如{AMVR 索引％N == n}，其中N和n是預定的。例如，偶數AMVR索引（0,2，...）可以隱式映射到變換組1，而奇數AMVR索引（1,3，...）可以隱式映射到變換組2。變換標誌可以不被發送。
在一些實施例中，對於透過AMVP模式編碼的像素塊，可以將預定AMVR索引隱式地映射到變換組中的一個特定變換模式。預定的AMVR索引可以由具有固定條目的表格指定或由固定方程式指定，例如{AMVR索引％N == n}，其中N和n是預定的。例如，依據預定表，當變換組1由變換標誌指示時，偶數AMVR索引可以隱式映射到變換組1中的一個變換模式，而奇數AMVR索引可以隱式映射到變換組1中的另一個變換。類似地，依據預定表，當變換組2由變換標誌指示時，偶數AMVR索引可以隱式地映射到變換組2中的一個變換模式，而奇數AMVR索引可以隱式映射到變換組2中的另一個變換模式。可以不用訊號通知變換索引。
在一些實施例中，對於透過AMVP模式編碼的像素塊，可以將預定的AMVR索引隱式地映射到一個特定的變換模式。預定的AMVR索引可以由具有固定條目的表格指定或由固定方程式指定，例如{AMVR 索引％N == n}，其中N和n是預定的。例如，依據預定表，偶數AMVR索引可以隱式地映射到一個變換模式，而奇數AMVR索引可以隱式地映射到另一個變換模式。變換標誌和變換索引可以不被發送。
IV. 基於OBMC設置導出變換設置
重疊塊運動補償（Overlapped Block Motion Compensation, OBMC）用於基於從附近塊的運動矢量（MV）導出的運動補償訊號來找到像素強度值的線性最小均方誤差（LMMSE）估計。這些MV可以被視為真實運動的不同的合理的假設。為了最大化編碼效率，設置與MV相關聯的權重以最小化受單位增益約束影響的均方預測誤差。
在一些實施例中，OBMC應用於具有對稱運動的分區。如果編碼單元（CU）被劃分為兩個2N×N（或N×2N）個預測單元（PU），則將OBMC應用於兩個2N×N預測塊的水平邊界（或兩個N×2N個預測塊的垂直邊界）。由於當前塊的這些分區可能具有不同的運動矢量，因此分區邊界處的像素可能具有大的不連續性，這可能產生視覺偽像並且還降低了變換/編碼效率。在一些實施例中，引入OBMC以平滑具有對稱運動的分區之間的邊界。
第3圖示出了2N×N塊的OBMC。第4圖示出了Nx2N塊的OMBC。灰色像素是屬於分區0的像素，白色像素是屬於分區1的像素。亮度分量中的重疊區域被定義為水平（或垂直）邊界的每一側上的2列（rows）（或行（columns））像素。對於與分區邊界分開的一列（或一行）的像素，即標記為A的像素，OBMC加權因子是（3 / 4, 1 / 4）。對於與分區邊界分開的兩列（或行）的像素，即標記為B的像素，OBMC加權因子是（7 / 8, 1 / 8）。對於色度分量，重疊區域被定義為水平（或垂直）邊界的每一側上的一列（或行）像素，並且加權因子是（3 / 4, 1 / 4）。
在一些實施例中，對於透過AMVP模式編碼的塊，可以從OBMC的設置導出變換設置的隱式分配，例如OBMC標誌，指示是否為塊啟用OBMC。
例如，當OBMC標誌指示OBMC被啟用時，變換設置被設置為隱式地選擇變換組1中的變換模式。當OBMC標誌指示OBMC被禁用時，變換設置被設置為隱式地選擇變換組2中的變換模式。可以不發送變換標誌。
在一些實施例中，對於透過AMVP模式編碼的像素塊，當變換標誌指示變換組1時，如果啟用OBMC，則變換設置被設置為依據預定表隱式地選擇變換組1中的一個變換模式。如果禁用OBMC，則變換設置被設置為依據預定表隱式地選擇變換組1中的另一變換模式。類似地，當變換標誌指示變換組2時，如果啟用OBMC，則變換設置被設置為依據預定表隱式地選擇變換組2中的一個變換模式。如果禁用OBMC，則將變換設置設置為依據預定表隱式地選擇變換組2中的另一變換模式。可能不發送變換索引。
在一些實施例中，對於透過AMVP模式編碼的像素塊，當啟用OBMC時，變換設置被設置為依據預定表隱式地選擇一個變換模式。禁用OBMC時，變換設置將設置為隱式選擇另一種變換模式。可以不用訊號通知變換標誌和變換索引。
V. 基於畫面內模式設置轉換設置
除了DC和平面模式之外，HEVC還定義了用於畫面內預測的33個定向模式。在一些實施例中，為了改進畫面內預測並捕獲在自然視訊中呈現的更精細的邊緣方向，除了DC和平面模式之外，畫面內預測被定義為具有65個定向模式。更密集的定向畫面內預測模式可以應用於所有塊尺寸以及亮度和色度畫面內預測。
第5圖示出了用於編碼像素塊的67種畫面內預測模式。依據該圖，畫面內預測模式0對應於平面模式，畫面內預測模式1對應於DC模式，畫面內預測模式2-66對應於角度畫面內預測模式或方向模式。在方向模式中，模式2對應於左下方向，模式18對應於水平或左方向，模式34對應於對角線或左上方向，模式50對應於垂直或頂部方向，模式66對應於垂直對角線或右上方向。
在一些實施例中，使用依賴於模式的變換候選選擇過程來考慮不同畫面內預測模式的不同殘差統計量。在一些實施例中，為每個畫面內預測定向模式分配一組候選變換，即，基於畫面內預測模式選擇候選變換集合。表1列出了三組預定義的候選變換，每組候選變換可以用作垂直變換集或水平變換集。表2列出了67個畫面內預測模式及其分配的候選變換集，包括垂直和水平變換集。當用特定定向模式畫面內預測像素塊時，視訊譯碼器使用表2來基於特定定向模式識別一組候選變換。視訊編碼器然後使用變換索引從候選變換集合中選擇一種變換模式。可以在位元流中將變換索引顯式地編碼為語法元素。
表1：三個預定義的變換候選集
Figure 108112931-A0304-0001
表2：針對每種畫面內預測模式的選定水平（H）和垂直（V）變換集
Figure 108112931-A0304-0002
在一些實施例中，可以從畫面內模式預測的設置導出變換設置的隱式分配。在一些實施例中，依據預定表，可以將畫面內方向模式的預定子集隱式地映射到一個特定變換模式，而可以將子集外部的剩餘畫面內方向模式隱式地映射到另一個變換模式。定向模式的預定子集可以由具有固定條目的表格指定，例如， {2, 18（水平）, 34（對角線）, 50（垂直）, 66}。預定子集也可以由固定的方程式指定，例如， {2, 18（水平）, 34（對角線）, 50（垂直）, 66} +偏移，其中偏移可以預先確定或自適應地確定；或{定向模式％N == n}，其中N和n是預定的。可以不發送變換標誌和變換索引。
在一些實施例中，可以將畫面內方向模式的預定子集隱式地映射到一個特定變換組，而可以將子集外部的其餘定向模式隱式地映射到另一個變換組。定向模式的預定子集可以由具有固定條目的表指定，例如{2, 18（水平）, 34（對角線）, 50（垂直）, 66}。預定子集也可以由固定方程式指定，例如{2, 18（水平）, 34（對角線）, 50（垂直）, 66} +偏移，其中偏移可以預先確定或自適應地確定；或{定向模式％N == n}，其中N和n是預定的。可以不用訊號通知變換標誌。
在一些實施例中，當變換組1由變換標誌指示時，畫面內方向模式的預定子集可以隱式地映射到變換組1中的一個變換模式，而子集外部的剩餘定向模式可以是隱式地映射到變換組1中的另一變換模式。類似地，當變換組2由變換標誌指示時，畫面內方向模式的預定子集可以隱式地映射到變換組2中的一個變換模式，而子集外部的剩餘定向模式可以是隱式地映射到變換組2中的另一變換模式。定向模式的預定子集可以由具有固定條目的表指定，例如{2, 18（水平）, 34（對角線）, 50（垂直）, 66}。預定子集也可以由固定方程式指定，例如{2,18（水平），34（對角線），50（垂直），66} +偏移，其中偏移可以預先確定或自適應地確定；或{定向模式％N == n}，其中N和n是預定的。可以不發送變換標誌。
在一些實施例中，畫面內方向模式到變換模式的分配或映射還基於被變換的像素塊的寬度和/或高度。例如，預定義的表或函數可以將特定範圍內的畫面內方向模式映射到指定垂直變換類型和水平變換類型的特定變換模式。
在一些實施例中，水平（或垂直）變換集中的不同變換模式（或變換類型）的數量可以隨塊寬度，或塊高度，或塊寬度和高度兩者，和/或畫面內預測模式而變化。在一些實施例中，水平（或垂直）變換集合中的不同變換模式的數量可以隨塊寬度，或塊高度，或塊寬度和高度兩者，或畫面內預測模式而變化。當塊高度小於閾值時，可以依據預定表隱式地分配水平（或垂直）變換集合中的變換模式。預定表可以取決於塊大小，塊形狀，或畫面內預測模式。
VI. 基於畫面間預測候選的變換設置
為了確定跳過和合併模式的合併索引，合併方案用於在一組合併候選（或合併列表）中選擇運動矢量預測器，其包含四個空間MVP和一個時間MVP。第6圖示出了用於像素塊的一組合併候選。如第6圖所示，從A0，A1，B0和B1中導出多達四個空間MV候選，並且從TBR或TCTR導出一個時間MV候選（首先使用TBR，如果TBR不可用，則使用TCTR）。合併候選集合中可能存在其他類型的合併候選，例如仿射繼承，仿射角落，空間，時間，中間空間（middle-spatial）。
在一些實施例中，定義了三種類型的合併候選：空間，時間和仿射。空間類型候選包括空間候選，中間空間候选和多平均候選。時間類型候選包括時間候選，子PU類型候選（包括STMVP和ATMVP），以及成對的平均候選。仿射類型候選包括空間繼承仿射候選，中間空間繼承仿射候选和角推導仿射候選。 “空間類型候選”，“時間類型候選”，“仿射類型候選”的定義可以在文檔JVET-J0018中找到。
當透過使用合併模式對CU進行編碼時，可以從相鄰塊繼承（複製）LIC標誌（是否啟用LIC）和GBi索引（以控制GBi的權重），並且默認應用OBMC。當使用AMVP模式對CU進行編碼時，可以有條件地發送一些附加語法，諸如LIC標誌，GBi索引，AMVR索引（以控制MVD分辨率）和OBMC標誌（以啟用OBMC）。對於AMT，可以使用用於發送相應的多個變換的多個標誌。
在一些實施例中，對於由合併模式編碼的塊，當支持多個變換模式和多個合併候選時，可以從合併模式的設置導出變換設置的隱式分配，諸如用於指示選擇的合併候選的合併索引。例如，合併索引的預定子集可以隱式地映射到一個特定變換組。合併索引的預定子集可以由具有固定條目的表指定或由固定方程式指定，例如{合併索引%N==n}，其中N和n是預定的。例如，偶數合併索引(0,2,...)可以隱式映射到變換組1的變換模式，而奇數合併索引(1,3,...)可以隱式映射到變換組2的變換模式。可以不發送變換標誌。
在一些實施例中，預定的合併索引可以被映射到變換組中的一個特定變換模式。預定的合併索引可以由具有固定條目的表指定或由固定方程式指定，例如，{合併索引%N==n}，其中N和n是預定的。例如，依據預定表，當變換組1由變換標誌指示時，偶數合併索引可以隱式地映射到變換組1中的一個變換模式，而奇數合併索引可以隱式地映射到另一個變換。類似地，依據預定表，當變換組2由變換標誌指示時，偶數合併索引可以隱式映射到變換組2中的一個變換模式，而奇數合併索引可以隱式映射到變換組2中的另一個變換模式。可以不發送變換索引。
在一些實施例中，預定的合併索引可以被映射到一個特定的變換模式。預定的合併索引可以由具有固定條目的表指定或由固定方程式指定，例如{合併索引%N==n}，其中N和n是預定的。例如，依據預定表，偶數合併索引可以隱式地映射到一個變換模式，而奇數合併索引可以隱式地映射到另一個變換模式。可以不發送變換標誌和變換索引。又例如，當合併索引指的是使用組合畫面間合併和畫面內預測(CIIP)的合併候選時，推斷所選擇的變換模式是或不是用於子塊變換(sub-block transform,SBT)，或是推斷子塊是不是有轉換係數(轉換係數是不是皆為零)，或是推斷子塊是不是有殘差(殘差是不是皆 為零)。對於CIIP預測，將畫面內預測添加到習知的畫面間合併預測。畫面間和畫面內預測訊號的加權平均值用於獲得最終預測結果。
在一些實施例中，合併候選可以被分類為若干組。例如，合併候選可以被分類為兩組：合併組1(包括子PU類型候選)和合併組2(包括剩餘候選)。合併候選也可以被分類為多個組，例如合併組1(包括空間類型候選)，合併組2(包括時間類型候選)，合併組3(包括仿射類型候選)。合併候選人也可以分為11個不同的組，這些組在JVET-J0018統一合併列表中定義。
依據預定表，屬於特定組的合併候選可以隱式地映射到特定變換模式。在一些實施例中，依據預定表，屬於不同組的不同合併候選被映射到不同的變換模式。可以不發送變換標誌和變換索引。在一些實施例中，依據預定表，屬於特定組的合併候選可以隱式地映射到不同的變換模式。可以發送變換標誌和變換索引。
在一些實施例中，對於由諸如AMVP模式或合併模式的畫面間模式編碼的塊，當支持多個變換模式和具有不同運動信息的多個候選時，變換設置的隱式分配是基於運動候選的運動相似性。隱式賦值是依據預定表格。如果第一合併候選的運動信息與第二合併候選的運動信息足夠相似，則第一合併候選被隱式地映射到一個變換模式，並且第二合併候選被隱式地映射到另一個變換模式。在一些實施例中，如果兩個合併候選的運動信息彼此足夠相似，則兩個合併候選被隱式地映射到相同的變換模式。可以不用訊號通知變換標誌和變換索引。在一些實施例中，如果兩個合併候選的參考圖像之間的距離小於特定閾值，則可以認為兩個候選的運動信息是相似的。在另一示例中，如果兩個合併候選俱有相似的MV值並且兩個合併候選的參考圖像之間的距離小於特定閾值，則可以認為兩個候選的運動信息是相似的。
在一些實施例中，對於由AMVP模式編碼的塊，當支持諸如單 向預測(單向預測)或雙向預測(雙向預測)的多個預測方向時，變換模式的隱式分配可能基於預測方向。預測方向可以分為組1(單向預測)和組2(雙向預測)。依據預定表，屬於特定方向組的預測方向可以隱式地映射到一個變換組或變換組中的一個變換模式。可以不用訊號通知變換標誌。在一些實施例中，依據預定表格，屬於特定方向組的預測方向可以隱式地映射到一個變換模式。可以不發送變換標誌和變換索引。換句話說，當預測的方向是雙預測時，可以將變換標誌推斷為0(或1)，並且可以依據預定義表將變換索引推斷為特定數目。
VII.基於子塊變換的變換設置
子塊變換(SBT)是變換技術。為了使用SBT對像素塊進行編碼，將塊劃分為垂直或水平方向的多個(例如，兩個)子塊以進行變換。僅在兩個子塊中的一個中執行變換。
在一些實施例中，基於塊的SBT設置隱式地導出像素塊的變換設置。例如，塊的分區的方向，正被變換的子塊的位置(位置0或1)，和/或被變換的子塊的寬度/高度可用於確定轉換模式，以用於水平變換(horTransform)和垂直變換(verTransform)。在一些實施例中，位置相關變換適用於塊的亮度分量。
第7圖示出了其變換設置隱含地從SBT設置導出的像素塊。該圖示出了不同塊710,720,730和740中的各種SBT設置。SBT將每個塊分成兩個子塊。執行變換的子塊用陰影表示並用“A”標記。
塊710在垂直方向(垂直子塊變換SBT-V)上被分成左和右子塊，並且在左子塊(位置0)而不是右子塊上執行變換。塊720在垂直方向(垂直子塊變換SBT-V)上被分成左子塊和右子塊，並且在右子塊(位置1)而不是左子塊上執行變換。塊730在水平方向(水平子塊變換SBT-H)上分成頂部和 底部子塊，並且在頂部子塊(位置0)而不是底部子塊上執行變換。塊740在水平方向(水平子塊變換SBT-H)上被分成兩個子塊，並且在底部子塊(位置1)而不是頂部子塊上執行變換。
當垂直分割應用垂直子塊變換(SBT-V)到像素塊(塊710和720)時，可以依據以下隱含地導出塊的變換設置：如果子塊高度大於32，然後(horTransform，verTransform)=(DCT-II，DCT-II)。否則，如果被變換的子塊在位置0(塊710)，則(horTransform，verTransform)=(DCT-VIII，DST-VII)。否則，如果被變換的子塊在位置1(塊720)，則(horTransform，verTransform)=(DST-VII，DST-VII)。
當將水平分割應用水平子塊變換(SBT-H)於像素塊(塊730和740)時，可以依據以下內容隱式地導出塊的變換設置：如果子塊高度大於32，然後(horTransform，verTransform)=(DCT-II，DCT-II)。否則，如果被變換的子塊在位置0(塊730)，則(horTransform，verTransform)=(DCT-VII，DST-VIII)。否則，如果被變換的子塊在位置1(塊740)，則(horTransform，verTransform)=(DST-VII，DST-VII)。
可以在編碼器和/或解碼器中實作前面提出的方法。舉例來說，所提出的方法可在視訊編碼器的畫面間預測模組和/或視訊解碼器的畫面間預測模組中實施。示例視訊編碼器於第8圖所示。示例視訊解碼器如第1圖所示。
VIII.示例視訊編碼器
第8圖示出了可以使用隱式導出的變換設置來編碼像素塊的示例視訊編碼器800。如圖所示，視訊編碼器800從視訊源805接收輸入視訊訊號並將訊號編碼到位元流895中。視訊編碼器800具有用於編碼來自視訊源805的訊號的若干組件或模組，包括變換模組810，量化模組811，逆量化模組814，逆變換模組815，畫面內圖像估計模組820，畫面內預測模組825，運動補償模 組830，運動估計模組835，環路濾波器845，重建圖像緩衝器850，MV緩衝器865和MV預測模組875以及熵編碼器890。運動補償模組830和運動估計模組835是畫面間預測模組840的一部分。
在一些實施例中，模組810-890是由計算設備或電子設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組810-890是由電子設備的一個或多個集成電路(integrated circuits,IC)實作的硬件電路的模組。儘管模組810-890被示為單獨的模組，但是一些模組可以組合成單個模組。
視訊源805提供原始視訊訊號，其呈現每個視訊訊框的像素資料而無需壓縮。減法器808計算視訊源805的原始視訊像素資料與來自運動補償模組830或畫面內預測模組825的預測像素資料813之間的差異。透過執行若干可能的變換中的一個，變換模組810轉換差值(或殘差像素資料或殘差訊號)為變換係數816，例如DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V，任何其他變換類型，或上述變換的任何子集。量化模組811將變換係數量化為量化資料(或量化係數)812，其由熵編碼器890編碼到位元流895中。
逆量化模組814對量化資料(或量化係數812)進行解量化以獲得變換係數，並且透過執行若干可能變換中的一個，逆變換模組815對變換係數執行逆變換以產生重建殘差819，例如DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V，任何其他變換類型，或上述變換類型的任何子集。將重建的殘差819與預測的像素資料813相加以產生重建的像素資料817。在一些實施例中，重建的像素資料817臨時存儲在行緩衝器(未示出)中，用於畫面內預測和空間MV預測。重建的像素由環路濾波器845濾波並存儲在重建的圖像緩衝器850中。在一些實施例中，重建的圖像緩衝器850是視訊編碼器800外部的存儲器。在一些實施例中，重建的圖像緩衝器850是視訊編碼器800內部的存儲器。
畫面內圖像估計模組820基於重建的像素資料817執行畫面內預測以產生畫面內預測資料。畫面內預測資料被提供給熵編碼器890以被編碼成位元流895。畫面內預測模組825還使用畫面內預測資料來產生預測像素資料813。
運動估計模組835透過產生MV以參考存儲在重建圖像緩衝器850中的先前解碼訊框的像素資料，來執行畫面間預測。這些MV被提供給運動補償模組830以產生預測的像素資料。
代替在位元流中對完整的實際MV進行編碼，視訊編碼器800使用MV預測來生成預測的MV，並且用於運動補償的MV與預測的MV之間的差被編碼為殘差運動資料並存儲在位元流895。
MV預測模組875基於為先前視訊訊框編碼而生成的參考MV來生成預測的MV。即，運動補償MV用於執行運動補償的運動補償MV。MV預測模組875從來自MV緩衝器865的先前視訊訊框中檢索參考MV。視訊編碼器800存儲生成用於MV緩衝器865中的當前視訊訊框的MV作為用於生成預測MV的參考MV。
MV預測模組875使用參考MV來創建預測的MV。可以透過空間MV預測或時間MV預測來計算預測的MV。預測的MV與當前訊框的運動補償MV(MC MV)之間的差異(殘差運動資料)由熵編碼器890編碼到位元流895中。
熵編碼器890透過使用諸如上下文自適應二進制算術編碼(CABAC)或霍夫曼編碼的熵編碼技術將各種參數和資料編碼到位元流895中。熵編碼器890將各種報頭元素，標誌以及量化的變換係數812和殘差運動資料作為語法元素編碼到位元流895中。位元流895依次存儲在存儲設備中或透過通訊媒介(例如網路)傳輸到解碼器。
環路濾波器845對重建的像素資料817執行濾波或平滑操作以減少編碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移(sample adaptive offset,SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(adaptive loop filter,ALF)。
第9圖示出了視訊編碼器800的部分，其基於塊處理設置實作變換設置的隱式推導。如圖所示，塊處理工具920包括畫面間預測模組840，畫面內預測模組825，變換模組810和處理當前塊的其他組件(未示出)。塊處理工具920可以參考存儲在MV緩衝器865和重建圖像緩衝器850中的MV和像素資料。一組塊處理設置900控制塊處理工具920的操作。這些塊處理設置可以包括標誌和索引，以用於GBi，LIC，OBMC，SBT，AMVR，合併模式或畫面內模式。變換設置導出模組910接收塊處理設置900並將接收到的塊處理設置映射到變換模組810的變換設置。變換設置可以包括用於垂直變換和水平變換的變換模式或變換類型。變換類型可以選自DCT或DST的各種版本，例如DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V，或上述變換類型的任何子集。變換模組810依次基於導出的變換設置對塊的預測殘差執行變換。
熵編碼器890還接收塊處理設置900並將至少一些塊處理設置900編碼為位元流895中的語法元素。來自塊處理設置的變換設置的映射在上述第I至第VII節中已描述。
第10圖概念性地示出了用於在視訊編碼期間基於塊處理設置隱式地導出變換設置過程1000。在一些實施例中，實作視訊編碼器800的計算設備的一個或多個處理單元(例如，處理器)透過執行存儲在計算機可讀介質中的指令來執行過程1000。在一些實施例中，實作視訊編碼器800的電子設備執行過程1000。
在步驟1010中，視訊編碼器從視訊源接收視訊圖像的像素塊。 在步驟1020中，視訊編碼器基於像素塊的塊處理設置導出變換設置。塊處理設置控制塊處理操作，其包括畫面間預測，畫面內預測，GBi，LIC，OBMC，SBT，AMVR，合併候選索引，合併候選類型，運動候選方向(單向預測或雙向預測)。塊處理設置可以包括用於啟用塊處理操作之一的標誌或選擇用於為塊處理操作之一權重的索引等。在步驟1030中，視訊編碼器依據塊處理設置處理像素塊。
在步驟1040中，視訊編碼器依據變換設置執行一組殘差像素的變換操作，以產生一組變換係數。在一些實施例中，變換操作是由塊處理設置控制的塊處理操作之一。在一些實施例中，塊處理操作可以生成一組預測像素，其用於生成用於變換操作的殘差像素。塊處理操作還可以修改塊的像素值。導出的變換設置確定變換操作的變換模式。變換模式可以指定水平變換類型和/或垂直變換類型。變換模式或類型可以從多個不同的可能變換中選擇，包括各種版本的DCT或DST。
在步驟1050中，視訊編碼器將變換係數編碼為位元流中的語法元素。導出的變換設置可以不作為語法元素包括在位元流中。
IX.示例視訊解碼器
第11圖示出了可以使用隱式導出的變換設置來解碼像素塊的示例視訊解碼器1100。如圖所示，視訊解碼器1100是圖像解碼或視訊解碼電路，其接收位元流1195並將位元流的內容解碼為視訊訊框的像素資料以供顯示。視訊解碼器1100具有用於解碼位元流1195的若干組件或模組，包括逆量化模組1105，逆變換模組1110，畫面內預測模組1125，運動補償模組1130，環路濾波器1145，已解碼圖像緩衝器1150，MV緩衝器1165，MV預測模組1175和解析器1190。運動補償模組1130是畫面間預測模組1140的一部分。
在一些實施例中，模組1110-1190是由計算設備的一個或多個處理單元(例如，處理器)執行的軟體指令的模組。在一些實施例中，模組1110-1190 是由電子設備的一個或多個IC實作的硬件電路的模組。儘管模組1110-1190被示為單獨的模組，但是一些模組可以組合成單個模組。
解析器1190(或熵解碼器)接收位元流1195並依據由視訊編碼或圖像編碼標准定義的語法執行初始解析。經解析的語法元素包括各種標頭元素(header elements)，標誌以及量化資料(或量化係數)1112。解析器1190透過使用諸如上下文自適應二進制算術編碼(context-adaptive binary arithmetic coding,CABAC)或霍夫曼編碼之類的熵編碼技術來解析各種語法元素。
逆量化模組1105對量化資料(或量化係數1112)進行解量化以獲得變換係數，並且逆變換模組1110對變換係數1116執行逆變換，以透過執行用於數個可能變換中的一個變換的逆變換來產生重建殘差訊號1119。例如DCT-II，DST-VII，DCT-VIII，DST-1或DCT-V。重建殘差訊號1119與來自畫面內預測模組1125或運動補償模組1130的預測像素資料1113相加以產生解碼的像素資料1117。解碼的像素資料由環路濾波器1145濾波並存儲在解碼圖像緩衝器1150。在一些實施例中，解碼圖像緩衝器1150是視訊解碼器1100外部的存儲器。在一些實施例中，解碼圖像緩衝器1150是視訊解碼器1100內部的存儲器。
畫面內預測模組1125從位元流1195接收畫面內預測資料，並且依據該畫面內預測資料，從存儲在解碼圖像緩衝器1150中的解碼像素資料1117產生預測像素資料1113。在一些實施例中，解碼像素資料1117還存儲在列緩衝器(line buffer)(未示出)中，用於畫面內圖像預測和空間MV預測。
在一些實施例中，解碼圖像緩衝器1150的內容用於顯示。顯示設備1155或者檢索解碼圖像緩衝器1150的內容以便直接顯示，或者將解碼圖像緩衝器的內容檢索到顯示緩衝器。在一些實施例中，顯示設備透過像素傳輸從解碼圖像緩衝器1150接收像素值。
運動補償模組1130依據運動補償MV(MC MV)從存儲在解碼圖像緩衝器1150中的解碼像素資料1117產生預測像素資料1113。透過將從位元流1195接收的殘差運動資料與從MV預測模組1175接收的預測MV相加來解碼這些運動補償MV。
MV預測模組1175基於為解碼先前視訊訊框而生成的參考MV(例如，用於執行運動補償的運動補償MV)來產生預測的MV。MV預測模組1175從MV緩衝器1165檢索先前視訊訊框的參考MV。視訊解碼器1100存儲用於在MV緩衝器1165中解碼當前視訊訊框產生的運動補償MV作為用於產生預測MV的參考MV。
環路濾波器1145對解碼的像素資料1117執行濾波或平滑操作以減少編碼的偽像，特別是在像素塊的邊界處。在一些實施例中，執行的濾波操作包括樣本自適應偏移(SAO)。在一些實施例中，濾波操作包括自適應環路濾波器(adaptive loop filter,ALF)。
第12圖示出了視訊解碼器1100的部分，其基於塊處理設置實作變換設置的隱式推導。如圖所示，塊處理工具1220包括畫面間預測模組1140，畫面內預測模組1125，逆變換模組1110以及處理當前塊的其他組件(未示出)。塊處理工具1220可以參考存儲在MV緩衝器1165和已解碼圖像緩衝器1150中的MV和像素資料。一組塊處理設置1200控制塊處理工具1220的操作。這些塊處理設置可以包括標誌和索引，以用於GBi，LIC，OBMC，SBT，AMVR，合併模式和畫面內模式。變換設置導出模組1210接收塊處理設置1200並將接收到的塊處理設置映射到用於逆變換模組1110的變換設置。變換設置可以包括用於垂直變換和水平變換的變換模式或變換類型。變換類型可以選自各種版本的DCT或DST，例如DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V。逆變換模組1110又執行逆變換以基於導出的變換設置來重建塊的殘差1119。
變換設置導出模組1210接收塊處理設置1200並將它們映射到用於逆變換模組1110的變換模式。變換模式可以指定垂直變換和水平變換。垂直和水平變換可以從諸如DCT-II，DST-VII，DCT-VIII，DST-1和DCT-V的變換類型中選擇。由熵解碼器1190從位元流1195解析塊處理設置1200作為語法元素。上面的第I至VII部分描述了塊處理設置的變換設置的映射。
第13圖概念性地示出了用於在視訊解碼期間基於塊處理設置隱式地導出變換設置過程1300。在一些實施例中，實作視訊解碼器1100的計算設備的一個或多個處理單元(例如，處理器)透過執行存儲在計算機可讀介質中的指令來執行過程1300。在一些實施例中，實作視訊解碼器1100的電子設備執行過程1300。
在步驟1310，視訊解碼器對來自位元流的語法元素的像素塊的變換係數進行解碼。在步驟1320，視訊解碼器基於像素塊的塊處理設置導出變換設置。塊處理設置控制塊處理操作，其包括畫面間預測，畫面內預測，GBi，LIC，OBMC，SBT，AMVR，合併候選索引，合併候選類型，運動候選方向(單向預測或雙向預測)。塊處理設置可以包括用於啟用塊處理操作之一的標誌或用於為一個塊處理操作選擇權重的索引等。在步驟1330，視訊解碼器依據塊處理設置處理像素塊。
在步驟1340，視訊解碼器依據變換設置執行變換係數的逆變換操作，以產生一組殘差像素。在一些實施例中，逆變換操作是由塊處理設置控制的塊處理操作之一。塊處理操作還可以修改塊的像素值。導出的變換設置確定逆變換操作的變換模式。變換模式可以指定水平變換類型和/或垂直變換類型。變換模式或類型可以從多個不同的可能變換中選擇，包括各種版本的DCT或DST。
在步驟1350，視訊解碼器基於該組殘差像素重建像素塊。在一 些實施例中，由逆變換操作生成的殘差像素與由塊處理操作生成的一組預測像素組合，以便重建像素塊。可以顯示，發送或存儲解碼的像素。
X.電子系統示例
許多上述特徵和應用被實作為被指定為記錄在計算機可讀存儲介質(也稱為計算機可讀介質)上的一組指令的軟體過程。當這些指令由一個或多個計算或處理單元(例如，一個或多個處理器，處理器核或其他處理單元)執行時，它們使處理單元執行指令中指示的動作。計算機可讀介質的示例包括但不限於CD-ROM，閃存驅動器，隨機存取存儲器(RAM)芯片，硬盤驅動器，可擦除可編程唯讀存儲器(EPROM)，電可擦除可編程唯讀存儲器(EEPROM)，等。計算機可讀介質不包括透過無線或有線連接傳遞的載波和電子訊號。
在本說明書中，術語“軟體”旨在包括駐留在唯讀存儲器中的固件或存儲在磁存儲器中的應用程式，其可被讀入存儲器以供處理器處理。而且，在一些實施例中，多個軟體發明可以實作為較大程式的子部分，同時保持不同的軟體發明。在一些實施例中，多個軟體發明也可以實作為單獨的程式。最後，一起實作這裡描述的軟體發明的單獨程式的任何組合都在本公開的範圍內。在一些實施例中，當安裝以在一個或多個電子系統上操作時，定義執行或操作軟體程式操作的一個或多個特定機器實作。
第14圖概念性地示出了電子系統1400，利用該電子系統1400實作本公開的一些實施例。電子系統1400可以是計算機(例如，台式計算機，個人計算機，平板計算機等)，電話，PDA或任何其他種類的電子設備。這種電子系統包括各種類型的計算機可讀介質和用於各種其他類型的計算機可讀介質的接口。電子系統1400包括總線1405，處理單元1410，圖形處理單元(GPU)1415，系統存儲器1420，網路1425，唯讀存儲器1430，永久存儲設備1435，輸入設備1440和輸出設備1445。
總線1405共同表示通訊地連接電子系統1400的眾多內部設備的所有系統，外圍設備和芯片組總線。例如，總線1405將處理單元1410與GPU1415，唯讀存儲器1430，系統存儲器1420和永久存儲設備1435通訊地連接。
從這些各種存儲器單元，處理單元1410檢索要執行的指令和要處理的資料，以便執行本公開的過程。在不同實施例中，處理單元可以是單個處理器或多核處理器。一些指令被傳遞到GPU 1415並由GPU 1415執行。GPU 1415可以卸載各種計算或補充由處理單元1410提供的圖像處理。
唯讀存儲器(ROM)1430存儲由處理單元1410和電子系統的其他模組使用的靜態資料和指令。另一方面，永久存儲設備1435是讀寫存儲設備。該設備是非易失性存儲器單元，即使在電子系統1400關閉時也存儲指令和資料。本公開的一些實施例使用大容量存儲設備(諸如磁盤或光盤及其相應的磁盤驅動器)作為永久存儲設備1435。
其他實施例使用可移動的存儲設備(諸如軟盤，閃存設備等，以及其對應的磁盤驅動器)作為永久存儲設備。與永久存儲設備1435類似，系統存儲器1420是讀寫存儲器設備。然而，與存儲設備1435不同，系統存儲器1420是易失性讀寫存儲器，例如隨機存取存儲器。系統存儲器1420存儲處理器在運行時使用的一些指令和資料。在一些實施例中，依據本公開的過程存儲在系統存儲器1420，永久存儲設備1435和/或唯讀存儲器1430中。例如，各種存儲器單元包括用於按照處理多媒體剪輯的指令。在一些實施例中。從這些各種存儲器單元，處理單元1410檢索要執行的指令和要處理的資料，以便執行一些實施例的過程。
總線1405還連接到輸入和輸出設備1440和1445。輸入設備1440使用戶能夠向電子系統傳送信息和選擇命令。輸入設備1440包括字母數位鍵盤 和指示設備(也稱為“光標控制設備”)，相機(例如，網路攝像頭)，麥克風或用於接收語音命令等的類似設備。輸出設備1445顯示由電子系統生成的圖像或輸出資料。輸出設備1445包括打印機和顯示設備，例如陰極射線管(cathode ray tubes,CRT)或液晶顯示器(LCD)，以及揚聲器或類似的音頻輸出設備。一些實施例包括諸如觸摸屏的設備，其用作輸入和輸出設備。
最後，如第14圖所示，總線1405還透過網路適配器(未示出)將電子系統1400耦合到網路1425。以這種方式，計算機可以是計算機網路的一部分(例如局域網(local area network,LAN)，廣域網(wide area network,WAN)或內聯網，或網路中的一個網路，例如，網際網路，例如電子系統1400的任何或所有組件可以與本公開結合使用。
一些實施例包括電子組件，例如微處理器，存儲器和存儲器，其將計算機程式指令存儲在機器可讀或計算機可讀介質中(或者稱為計算機可讀存儲介質，機器可讀介質或機器-可讀存儲介質)。這種計算機可讀介質的一些示例包括RAM，ROM，唯讀光盤(CD-ROM)，可記錄光盤(CD-R)，可重寫光盤(CD-RW)，唯讀數位通用光盤(例如，，DVD-ROM，雙層DVD-ROM)，各種可記錄/可重寫DVD(例如DVD-RAM，DVD-RW，DVD+RW等)，閃存(例如SD卡，mini-SD)卡，micro-SD卡等)，磁性和/或固態硬盤驅動器，唯讀和可記錄Blu-Ray®光盤，超高密度光盤，任何其他光學或磁性介質以及軟盤。計算機可讀介質可以存儲可由至少一個處理單元執行的計算機程式，並且包括用於執行各種操作的指令集。計算機程式或計算機代碼的示例包括諸如由編譯器產生的機器代碼，以及包括由計算機，電子組件或使用解釋器的微處理器執行的更高級代碼的文件。
雖然上述討論主要涉及執行軟體的微處理器或多核處理器，但許多上述特徵和應用由一個或多個集成電路執行，例如專用集成電路(ASIC)或 現場可編程門陣列(FPGA)。在一些實施例中，這種集成電路執行存儲在電路自身上的指令。另外，一些實施例執行存儲在可編程邏輯器件(PLD)，ROM或RAM器件中的軟體。
如在本說明書和本申請的任何請求項中所使用的術語“計算機”，“伺服器”，“處理器”和“存儲器”均指電子或其他技術設備。這些條款不包括人或人群。出於說明書的目的，術語顯示或顯示裝置顯示在電子設備上。如在本說明書和本申請的任何請求項中所使用的術語“計算機可讀介質”，“計算機可讀介質”和“機器可讀介質”完全限於以計算機可讀的形式存儲的訊息的有形物理對象。這些術語不包括任何無線訊號，有線下載訊號和任何其他短暫訊號。
儘管已經參考許多具體細節描述了本公開，但是本領域通常知識者將認識到，在不脫離本公開的精神的情況下，本公開可以以其他具體形式實施。另外，許多附圖(包括第10圖和第13圖)概念性地示出了過程。這些過程的具體操作可能無法按照所示和描述的確切順序執行。可以不在一個連續的一系列操作中執行特定操作，並且可以在不同的實施例中執行不同的特定操作。此外，該過程可以使用多個子過程來實作，或者作為更大的宏過程的一部分來實作。因此，本領域通常知識者將理解，本公開不受前述說明性細節的限制，而是由所附請求項限定。
補充說明
本文描述的主題有時示出包含在不同其他組件內或與不同其他組件連接的不同組件。要理解的是，這樣描繪的架構僅僅是示例，並且實際上可以實現許多其他架構，其實現相同的功能。在概念意義上，實現相同功能的任何組件佈置有效地“關聯”，使得實現期望的功能。因此，這裡組合以實現 特定功能的任何兩個組件可以被視為彼此“相關聯”，使得實現期望的功能，而不管架構或中間組件。同樣地，如此關聯的任何兩個組件也可以被視為彼此“可操作地連接”或“可操作地耦合”以實現期望的功能，並且能夠如此關聯的任何兩個組件也可以被視為“可操作地耦合”，以使得彼此實現所需的功能。可操作耦合的具體示例包括但不限於物理上可配對和/或物理上相互作用的組件和/或可無線交互和/或無線交互的組件和/或邏輯上相互作用和/或邏輯上可交互的組件。
此外，關於本文中基本上任何復數和/或單數術語的使用，只要符合本發明的內容，本領域通常知識者可以依據上下文從復數轉換為單數和/或從單數轉換為複數。為清楚起見，這裡可以明確地闡述各種單數/複數排列。
此外，本領域的通常知識者可以理解，通常，本發明所使用的術語特別是請求項中的，如請求項的主題，通常用作“開放”術語，例如，“包括”應解釋為“包括但不限於”，“有”應理解為“至少有”，“包括”應解釋為“包括但不限於”等。本領域的通常知識者可以進一步理解，若計畫介紹特定數量的請求項內容，將在請求項內明確表示，並且，在沒有這類內容時將不顯示。例如，為幫助理解，下面請求項可能包含短語“至少一個”和“一個或複數個”，以介紹請求項內容。然而，這些短語的使用不應理解為暗示使用不定冠詞“a”或“an”介紹請求項內容，而限制了任何特定的請求項。甚至當相同的請求項包括介紹性短語“一個或複數個”或“至少有一個”。此外，即使明確引用特定數量的介紹性內容，本領域通常知識者可以認識到，這樣的內容應被解釋為表示所引用的數量，例如，沒有其他修改的“兩個引用”，意味著至少兩個引用，或兩個或兩個以上的引用。此外，在使用類似於“A、B和C中的至少一個”的表述的情況下，通常如此表述是為了本領域通常知識者可以理解該表述，例如，“系統包括A、B和C中的至少一個”將包括但不限於單獨具有A的系統，單獨具有B的系統，單獨具有 C的系統，具有A和B的系統，具有A和C的系統，具有B和C的系統，和/或具有A、B和C的系統，等。本領域通常知識者進一步可理解，無論在說明書中、請求項中或者附圖中，由兩個或兩個以上的替代術語所表現的任何分隔的單詞和/或短語應理解為，包括這些術語中的一個，其中一個，或者這兩個術語的可能性。例如，“A或B”應理解為，“A”，或者“B”，或者“A和B”的可能性。
從前述可知，為了說明目的，此處已描述了各種實施方案，並且在不偏離本發明的範圍和精神的情況下，可以進行各種變形。因此，此處所公開的各種實施方式不用於限制，請求項表示真實的範圍和精神。
100、800:視訊編碼器
110、805:視訊源
115、215:像素值加法器
120、810:變換模組
130、230、920、1220:塊處理工具
135、235:預測模組
140、240、900、1200:塊處理設置
150、250、910、1210:變換設置導出模組
160、260:變換設置
190:位元流
200:視訊解碼器
210:視訊顯示器
220、815、1100、1110:逆變換模組
290、895、1195:位元流
710、720、730、740:塊
808:減法器
811:量化模組
812、1112:量化係數
813、1113:預測像素資料
814、1105、1110:逆量化模組
816、1116:變換係數
817:重建的像素資料
819:重建的殘差
820:畫面內圖像估計模組
825、1125:畫面內預測模組
830、1130:運動補償模組
835:運動估計模組
840、1140:畫面間預測模組
845:環路濾波器
850:重建圖像緩衝器
865、1165:MV緩衝器
875、1175:MV預測模組
890:熵編碼器
1000、1300:變換設置過程
1010~1050:步驟
1190:解析器
1119:重建殘差訊號
1117:解碼的像素資料
1145:環路濾波器
1150:已解碼圖像緩衝器
1155:顯示設備
1310~1350:步驟
1400:電子系統
1405:總線
1430:唯讀存儲器
1435:永久存儲設備
1420:系統存儲器
1445:輸出設備
1415:圖形處理單元
1410:處理單元
1440:輸入設備
1425:網路
附圖被包括以提供對本公開的進一步理解，並且附圖被併入並構成本公開的一部分。附圖示出了本公開的實施方式，並且與說明書一起用於解釋本公開的原理。可以理解的是，附圖不一定按比例繪製，因為為了清楚地說明本公開的概念，一些部件可能被示出為與實際實施中的尺寸不成比例。 第1圖概念性地示出了基於視訊編碼器中的塊處理設置隱式確定變換設置。 第2圖概念性地示出了基於視訊解碼器中的塊處理設置隱式確定變換設置。 第3圖示出了2NxN塊的重疊塊運動補償。 第4圖示出了Nx2N塊的重疊塊運動補償。 第5圖示出了用於編碼像素塊的65種方向畫面內預測模式。 第6圖示出了像素塊的合併候選集。 第7圖示出了隱含地從SBT設置導出變換設置的像素塊。 第8圖示出了可以使用隱式導出的變換設置來編碼像素塊的示例視訊編碼器。 第9圖示出了視訊編碼器的部分基於塊處理設置實作隱式變換設置推導的原理圖。 第10圖概念性地示出了用於在視訊編碼期間基於塊處理設置隱式導出變換設置的過程。 第11圖示出了可使用隱式導出的變換設置來解碼像素塊的示例性視訊解碼器。 第12圖示出了視訊解碼器的部分基於塊處理設置實作隱式變換設置推導的原理圖。 第13圖概念性地示出了用於在視訊解碼期間基於塊處理設置隱式地導出變換設置的過程。 第14圖概念性地示出了用於實作本公開的一些實施例的電子系統。
1300‧‧‧變換設置過程
1310~1350‧‧‧步驟

Claims (15)

  1. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數；基於用於該像素塊的塊處理設置導出變換設置；其中該塊處理設置控制子塊變換操作，該子塊變換操作將該像素塊劃分為複數個子塊，並且對複數個子塊中的特定子塊執行變換，其中該塊處理設置包括該特定子塊的方向，以及/或該特定子塊的寬度或高度，以及/或該特定子塊的位置，並且導出變換設置包括基於該塊處理設置，自複數個變換模式選擇一個變換模式；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊。
  2. 如請求項1所述之解碼方法，其中，該變換設置包括基於該像素塊的該塊處理設置從複數個候選變換模式中選擇的目標變換模式。
  3. 如請求項2所述之解碼方法，其中，基於變換標誌從至少一個第一組和至少一個第二組中選擇目標變換組，該複數候選變換模式屬於該至少一第一組或該至少一第二組，從屬於該目標變換組的該候選變換模式中選擇該目標變換模式。
  4. 如請求項3所述之解碼方法，其中，該變換標誌從該位元流而被解析，或者依據該塊處理設置而被確定。
  5. 如請求項2所述之解碼方法，其中，該目標變換模式依據從該位元流或該塊處理設置導出的索引來確定。
  6. 如請求項2所述之解碼方法，其中，該複數個候選變換模式中的至少一個包括用於水平變換的變換類型和用於垂直變換的變換類型。
  7. 如請求項1所述之解碼方法，其中，該變換設置不包括在該位元流中作為語法元素。
  8. 如請求項1所述之解碼方法，進一步包括：基於該像素塊的高度或寬度，導出變換設置。
  9. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數；基於用於該像素塊的塊處理設置導出變換設置；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊；其中，當產生預測像素組時，該塊處理設置控制應用用於複數個不同預測子的複數個不同權重的廣義雙向預測操作，其中塊處理設置包括用於選擇預測子的權重的權重選擇索引，並且導出該變換設置包括基於該權重選擇索引從複數個變換模式中選擇變換模式。
  10. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數；基於用於該像素塊的塊處理設置導出變換設置；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊；其中，該塊處理設置控制局部照明補償操作，該局部照明補償操作使用該像素塊的複數個相鄰樣本和參考像素塊的複數個相鄰樣本來對該像素塊應用照明調整，其中該塊處理設置包括用於啟用該局部照明補償操作的局部照明補償標誌，並且導出該變換設置包括基於該局部照明補償標誌從複數個變換模式中 選擇變換模式。
  11. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數；基於用於該像素塊的塊處理設置導出變換設置；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊；其中，該塊處理設置控制畫面間預測操作，其中該塊處理設置包括高級運動矢量分辨率操作，該高級運動矢量分辨率操作利用用於選擇該運動矢量差異的分辨率選擇索引，切換運動矢量和像素塊的運動預測子之間的運動矢量差異的分辨率，並且其中導出變換設置包括基於分辨率選擇索引從複數個變換模式中選擇變換模式。
  12. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數；基於用於該像素塊的塊處理設置導出變換設置；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊；其中，該塊處理設置控制畫面間預測操作，其中該塊處理設置包括合併候選索引，該合併候選索引從包含一個或多個合併候選的組合中選出一個合併候選，並且導出該變換設置包括：基於該合併索引從複數個變換模式中選擇變換模式。
  13. 一種解碼方法，包括：從位元流解碼像素塊的複數個變換係數； 基於用於該像素塊的塊處理設置導出變換設置；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置，對該複數個變換係數執行逆變換操作，以生成一組殘差像素；以及基於該組殘差像素重建該像素塊；其中該變換設置指定是否應用子塊變換。
  14. 一種編碼方法，包括：接收視訊圖像的像素塊；基於用於該像素塊的塊處理設置導出變換設置；其中該塊處理設置控制子塊變換操作，該子塊變換操作將該像素塊劃分為複數個子塊，並且對複數個子塊中的特定子塊執行變換，其中該塊處理設置包括該特定子塊的方向，以及/或該特定子塊的寬度或高度，以及/或該特定子塊的位置，並且導出變換設置包括基於該塊處理設置，自複數個變換模式選擇一個變換模式；依據該塊處理設置處理該像素塊，其中處理該像素塊包括：依據該變換設置執行一組殘差像素的變換操作，以生成該複數個變換係數；以及編碼位元流中的該複數個變換係數。
  15. 如請求項14所述之編碼方法，進一步包括：基於該像素塊的高度或寬度導出變換設置。
TW108112931A 2018-04-13 2019-04-12 隱式變換設置 TWI706667B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862657100P 2018-04-13 2018-04-13
US62/657,100 2018-04-13
US16/382,167 US11297348B2 (en) 2018-04-13 2019-04-11 Implicit transform settings for coding a block of pixels
US16/382,167 2019-04-11

Publications (2)

Publication Number Publication Date
TW201944777A TW201944777A (zh) 2019-11-16
TWI706667B true TWI706667B (zh) 2020-10-01

Family

ID=68160032

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108112931A TWI706667B (zh) 2018-04-13 2019-04-12 隱式變換設置

Country Status (6)

Country Link
US (1) US11297348B2 (zh)
EP (1) EP3766242A4 (zh)
CN (1) CN112042187B (zh)
BR (1) BR112020020976A8 (zh)
TW (1) TWI706667B (zh)
WO (1) WO2019196944A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11051036B2 (en) * 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
IL281823B2 (en) * 2018-10-12 2024-01-01 Guangdong Oppo Mobile Telecommunications Corp Ltd A method for encoding/decoding an image signal and a device for it
EP3866468A4 (en) * 2018-10-12 2022-07-27 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND APPARATUS USING MULTI-ASSUMPTION PREDICTION
WO2020084502A1 (en) 2018-10-23 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Video processing using local illumination compensation
CN112868239B (zh) 2018-10-23 2023-05-30 北京字节跳动网络技术有限公司 并置的局部照明补偿和帧内块复制编解码
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
WO2020147747A1 (en) 2019-01-15 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Weighted prediction in video coding
CN113316933A (zh) 2019-01-17 2021-08-27 北京字节跳动网络技术有限公司 使用运动预测进行去方块滤波
WO2020187329A1 (en) 2019-03-21 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Improved weighting processing of combined intra-inter prediction
WO2020251930A1 (en) * 2019-06-12 2020-12-17 Interdigital Vc Holdings, Inc. Illumination compensation for video encoding and decoding
US11006121B2 (en) * 2019-06-20 2021-05-11 Tencent America LLC LIC signaling methods
US11228787B2 (en) * 2019-11-27 2022-01-18 Mediatek Inc. Signaling multiple transmission selection
WO2021137445A1 (ko) * 2019-12-31 2021-07-08 (주)휴맥스 비디오 신호 처리를 위한 변환 커널 결정 방법 및 이를 위한 장치
CN111355955B (zh) * 2020-03-06 2022-07-29 中南大学 基于预选层的多变换核快速跳过方法
CN113840146B (zh) * 2021-09-30 2022-10-21 中南大学 一种视频信息隐藏方法及系统
WO2023246901A1 (en) * 2022-06-22 2023-12-28 Mediatek Inc. Methods and apparatus for implicit sub-block transform coding

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
WO2018064517A1 (en) * 2016-10-01 2018-04-05 Qualcomm Incorporated Transform selection for video coding

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096431A (ja) 2005-09-27 2007-04-12 Matsushita Electric Ind Co Ltd 任意の変換比率を有するデジタル・ビデオ・フォーマット下方変換装置及び方法
CN101653004A (zh) 2007-04-04 2010-02-17 Nxp股份有限公司 从编码比特流选择性地解码预定数据单元的解码器
CA2784515A1 (en) 2009-12-17 2011-06-23 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for video coding
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
CN104853201A (zh) 2010-07-02 2015-08-19 数码士控股有限公司 用于帧内预测的编码/解码图像的装置和方法
US8885701B2 (en) 2010-09-08 2014-11-11 Samsung Electronics Co., Ltd. Low complexity transform coding using adaptive DCT/DST for intra-prediction
CN107835419B (zh) * 2011-10-18 2021-05-14 株式会社Kt 视频信号解码方法
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10390045B2 (en) * 2014-11-28 2019-08-20 Mediatek Inc. Method and apparatus of alternative transform for video coding
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US11477477B2 (en) * 2015-01-26 2022-10-18 Qualcomm Incorporated Sub-prediction unit based advanced temporal motion vector prediction
US10972733B2 (en) 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018048265A1 (ko) * 2016-09-11 2018-03-15 엘지전자 주식회사 향상된 옵티컬 플로우 움직임 백터를 이용하여 비디오 신호를 처리하는 방법 및 장치
US20190246134A1 (en) * 2018-02-06 2019-08-08 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
US10419754B1 (en) * 2018-04-02 2019-09-17 Tencent America LLC Method and apparatus for video decoding using multiple line intra prediction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110090952A1 (en) * 2009-10-21 2011-04-21 Cohen Robert A Directional Transforms for Video and Image Coding
WO2018064517A1 (en) * 2016-10-01 2018-04-05 Qualcomm Incorporated Transform selection for video coding

Also Published As

Publication number Publication date
BR112020020976A8 (pt) 2023-02-07
US11297348B2 (en) 2022-04-05
EP3766242A4 (en) 2022-03-09
WO2019196944A1 (en) 2019-10-17
TW201944777A (zh) 2019-11-16
BR112020020976A2 (pt) 2021-01-19
US20190320203A1 (en) 2019-10-17
EP3766242A1 (en) 2021-01-20
CN112042187A (zh) 2020-12-04
CN112042187B (zh) 2024-02-23

Similar Documents

Publication Publication Date Title
TWI706667B (zh) 隱式變換設置
TWI749503B (zh) 核心轉換和次級轉換間之交互作用及其裝置
TWI737201B (zh) 用於發信合併工具的方法及裝置
TWI690200B (zh) 畫面內合併預測
TWI711300B (zh) 照度補償方法及相應之視訊處理裝置
TWI669951B (zh) 多重假設之合併模式
WO2019206190A1 (en) Storage of motion vectors for affine prediction
TWI729526B (zh) 用於多重假設之幀內預測
TWI734268B (zh) 用於多重-參考行預測與多重-假設預測之發信
US20200059659A1 (en) Shared Candidate List
TWI802271B (zh) 具有應用的塊設定以及運動儲存設定的三角形預測
KR20220103180A (ko) 병렬 처리를 위한 선택적 스위칭
JP2024038198A (ja) ビデオ符号化方法、コンピューティング装置、プログラム、及びビットストリームを格納する方法
TW202404354A (zh) 利用卷積模型的預測改進
TW202420819A (zh) 視訊編解碼中帶越界檢查的預測生成
TW202402054A (zh) 用於候選清單的相似性閾值
TW202408232A (zh) 更新合併候選的運動屬性