TWI754803B - 相依量化技術 - Google Patents

相依量化技術 Download PDF

Info

Publication number
TWI754803B
TWI754803B TW108111034A TW108111034A TWI754803B TW I754803 B TWI754803 B TW I754803B TW 108111034 A TW108111034 A TW 108111034A TW 108111034 A TW108111034 A TW 108111034A TW I754803 B TWI754803 B TW I754803B
Authority
TW
Taiwan
Prior art keywords
quantization
transform
samples
image
block
Prior art date
Application number
TW108111034A
Other languages
English (en)
Other versions
TW202005376A (zh
Inventor
希克 史瓦茲
湯瑪士 威剛德
法恩 H T 尼古彥
迪特利夫 馬皮
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202005376A publication Critical patent/TW202005376A/zh
Application granted granted Critical
Publication of TWI754803B publication Critical patent/TWI754803B/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

藉由使用樣本之一序列描述一媒體信號且藉由以下操作對此序列進行依序編碼而致使該媒體信號之寫碼更高效:針對一當前樣本取決於針對樣本之該序列中之先前樣本經編碼至資料串流中之索引而自多個量化位準組當中選擇一組量化位準;將該當前樣本量化至該組量化位準中之一個位準上;及將針對用於該當前樣本之該一個位準之一量化索引編碼至該資料串流中。換言之,使用樣本之該序列中之該等個別樣本之純量量化,但致使該純量量化取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之量化索引。藉由此措施,有可能在多維空間中「識解」量化點之一柵格,樣本之該序列之所有可能設定跨越該多維空間而散佈,該等樣本之值根據經寫碼至該資料串流中之量化索引之序列而被量化至該等可能設定上。此柵格又以統計方式減小一平均量化誤差。

Description

相依量化技術
發明領域 本申請案係關於在對媒體信號進行編碼時使用量化,例如用於量化如在例如HEVC中進行之預測殘差之媒體信號寫碼,諸如視訊寫碼,及尤其有損編解碼器。
發明背景 在設定量化參數時,編碼器必須進行綜合考慮。粗略呈現量化會降低位元率,但提高量化失真,而較精細呈現量化會降低失真,但提高位元率。即將得出針對可用量化位準之給定領域提高寫碼效率之概念將為有利的。
發明概要 本發明之目標為提供用於使用量化對媒體信號進行寫碼之概念,這實現寫碼效率在給定之一組可用量化位準下之此提高。
此目標係藉由本申請案之獨立請求項的主題來達成。
本申請案係基於以下發現:可藉由使用樣本之一序列描述媒體信號且藉由以下操作對此序列進行依序編碼而致使該媒體信號之寫碼更高效:針對當前樣本取決於針對樣本之該序列中之先前樣本經編碼至資料串流中之索引而自多個量化位準組當中選擇一組(諸如可數組)量化位準(亦被稱作重構位準);將該當前樣本量化至該組量化位準中之一個位準上;及將針對用於該當前樣本之該一個位準之量化索引編碼至該資料串流中。換言之,使用樣本之該序列中之該等個別樣本之純量量化,但致使該純量量化取決於針對樣本之該序列中之先前樣本經編碼成該資料串流之量化索引。藉由此措施,有可能在多維空間中「識解」量化點之一柵格,樣本之該序列之所有可能設定跨越該多維空間而散佈,該等樣本之量化根據經寫碼成該資料串流之量化索引之該序列而被量化至該等可能設定上。此柵格又以統計方式減小平均量化誤差。
根據實施例,該媒體信號為二維信號,諸如圖像,且樣本之一序列係藉由使用某一掃描模式而獲得,該掃描模式將樣本之二維空間配置變為一維序列,接著沿著該一維序列進行前述量化點柵格之建構。
根據實施例,描述該媒體信號之樣本之該序列表示圖像之變換區塊或其一部分,亦即該序列係經由將該圖像之變換區塊,亦即圖像區塊或空間樣本(諸如預測因子之殘差樣本)之區塊變換成變換係數區塊而獲得,其中沿著預定係數掃描進行掃描之該變換係數區塊之預定變換係數形成樣本之該序列。該變換可為線性變換或任何其他變換,且出於重構目的,可使用逆變換或近似逆變換之某一其他逆向變換。另外或替代地,樣本之該序列可表示預測殘差。
根據實施例,用於當前樣本之該組量化位準之選擇取決於針對樣本之該序列中之先前樣本經編碼成該資料串流之量化索引之最低有效位元部分,諸如僅同位。詳言之,根據實施例,該等多個量化位準組中量化位準組之數目為二,自該等多個量化位準組進行該選擇。另外或替代地,自該等多個量化位準組之該選擇可取決於先前之量化索引之同位。詳言之,固定建構規則可用於選擇樣本,該選擇取決於針對樣本之該序列中緊接的預定固定數目的先前樣本經寫碼之量化索引自該等多個量化位準組當中選擇一組量化位準。根據實例,為此目的使用狀態轉變過程或狀態機,其包含一組狀態及自一個樣本之一個狀態至樣本之該序列中之下一個樣本之一狀態的轉變,自一個狀態至下一個狀態之狀態轉變取決於一個樣本之量化索引,諸如其同位。每一狀態唯一地判定待用於該樣本之該組量化位準,該各別狀態與該樣本相關聯。可在編碼器及解碼器處應用初始狀態之預定狀態設定,使用該狀態設定開始狀態轉變。例如,此預定數目可為二且該等多個量化位準組之基數亦可為二。如剛剛所提及,相依性可僅僅係關於多個量化索引之同位。此產生改良寫碼效率下之簡單的實施方案。
有利地,且根據本申請案之實施例,藉助於預定量化步長對該等多個量化位準組進行參數化且在該資料串流中將關於該預定量化步長之資訊進行傳信。在樣本之該序列表示變換區塊之變換係數之狀況下,對於每一變換係數(樣本),可判定用於對該等多個量化位準組進行參數化之自身量化步長。例如,用於變換區塊之變換係數之量化步長可以預定方式與在該資料串流中所傳信之一個傳信量化步長相關。例如,用於整個變換區塊之一個量化步長可在該資料串流中傳信且根據預設地設定或亦在該資料串流中經寫碼之縮放因數針對每一變換係數單獨地縮放。
因此,有利地,本文中所使用之相依純量量化實現此相依純量量化與使用加權矩陣以用於跨越變換區塊之變換係數加權縮放因數之概念之組合。
較佳實施例之詳細說明 以下描述描述使用相依純量量化之媒體信號寫碼之概念。然而,為了易於理解,下文闡述之具體實例係關於使用相依純量量化對變換係數之變換寫碼。然而,如下文所提及,本申請案之實施例不限於變換寫碼。
根據接下來所描述之實施例,變換寫碼涉及一組樣本之變換、所得變換係數之相依純量量化,及所獲得量化索引之熵寫碼。在解碼器側處,藉由量化索引之熵解碼、變換係數之相依重構,及逆變換而獲得經重構樣本組。相比於由變換、非相依純量量化及熵寫碼組成之習知變換寫碼,用於變換係數之該組可容許的重構位準取決於按重構次序在當前變換係數之前的經傳輸量化索引,其亦被稱作變換係數位準。另外,描述指定相依純量量化中所使用之重構位準之量化索引,亦即變換係數位準之熵寫碼。甚至進一步,描述在習知變換寫碼與藉由相依純量量化之變換寫碼之間的自適應選擇及用於調適用於相依純量量化之量化步長之概念。以下描述主要集中於在影像及視訊編解碼器中對預測誤差樣本之區塊之有損寫碼,但應注意,下文描述之實施例亦可應用於其他有損寫碼領域,諸如音訊寫碼等。亦即,下文描述之實施例並不限於形成矩形區塊之樣本之組且並不限於表示預測誤差樣本,亦即原始信號與預測信號之間的差異之樣本之組。實際上,下文描述之實施例可易於轉移至諸如音訊信號寫碼、在無預測之情況下之寫碼或在空間域而非變換域中之寫碼等其他情境。
所有目前先進技術視訊編解碼器,諸如國際視訊寫碼標準H.264|MPEG-4 AVC[1]及H.265|MPEG-H HEVC[2]均遵循混合式視訊寫碼之基本方法。將視訊圖像分割成區塊,區塊之樣本係使用圖像內預測或圖像間預測來預測,且所得預測誤差信號(原始樣本與預測信號樣本之間的差異)之樣本係使用變換寫碼進行寫碼。
圖1展示典型現代視訊編碼器之簡化方塊圖。視訊序列之視訊圖像係按某一次序進行寫碼,該次序被稱作寫碼次序。圖像之寫碼次序可不同於捕獲及顯示次序。對於實際寫碼,將每一視訊圖像分割成區塊。區塊包含特定顏色分量之矩形區域之樣本。對應於相同矩形區域之所有顏色分量之區塊之實體常常被稱作單元。取決於區塊分割之目標,在H.265|MPEG-H HEVC中,寫碼樹型區塊(CTB)、寫碼區塊(CB)、預測區塊(PB),及變換區塊(TB)之間係有差別的。相關聯單元被稱為寫碼樹型單元(CTU)、寫碼單元(CU)、預測單元(PU),及變換單元(TU)。
通常,視訊圖像最初被分割成固定大小單元(亦即,針對所有顏色分量之經對準之固定大小區塊)。在H.265|MPEG-H HEVC中,此等固定大小單元被稱為寫碼樹型單元(CTU)。每一CTU可進一步分裂成多個寫碼單元(CU)。寫碼單元為實體,為該實體選擇寫碼模式(例如,圖像內或圖像間寫碼)。在H.265|MPEG-H HEVC中,CTU變為一或多個CU之分解係藉由四叉樹(QT)語法指定且作為位元串流之部分傳輸。CTU之CU係按所謂的z掃描次序處理。這意謂產生自分裂之四個區塊按光柵掃描次序進行處理;且若區塊中之任一者進一步經分割,則對應四個區塊(包括所包括較小區塊)係在處理具有較高分裂位準之下一個區塊之前進行處理。
若CU係在框內寫碼模式下經寫碼,則傳輸用於明度信號之框內預測模式,且若視訊信號包括色度分量,則傳輸用於色度信號之另一框內預測模式。在ITU-T H.265|MPEG-H HEVC中,若CU大小等於最小CU大小(如序列參數集中所傳信),則明度區塊亦可分裂成四個大小相等區塊,在此狀況下,對於此等區塊中之每一者,傳輸單獨明度框內預測模式。實際框內預測及寫碼係基於變換區塊進行。對於經圖像內寫碼CU之每一變換區塊,使用同一顏色分量之已經重構樣本導出預測信號。用於產生變換區塊之預測信號之演算法係藉由經傳輸框內預測模式而判定。
在圖像間寫碼模式下經寫碼之CU可進一步分裂成多個預測單元(PU)。預測單元為明度,且對於彩色視訊,為二個相關聯色度區塊(覆蓋相同圖像區域)之實體,對此使用單個預測參數集。CU可經寫碼為單個預測單元,或其可分裂成二個非正方形預測單元(支援對稱及不對稱分裂)或四個正方形預測單元。對於每一PU,傳輸個別運動參數集。每一運動參數集包括多個運動假設(H.265|MPEG-H HEVC中之一個或二個運動假設),且對於每一運動假設,包括參考圖像(經由參考圖像清單中之參考圖像索引指示)及相關聯運動向量。另外,H.265|MPEG-H HEVC提供所謂的合併模式,其中運動參數並不明確地傳輸,但基於空間或時間相鄰區塊之運動參數而導出。若CU或PU在合併模式下經寫碼,則僅傳輸運動參數候選之清單中之索引(使用空間及時間相鄰區塊之運動資料導出此清單)。該索引完全判定所使用之運動參數集。經框間寫碼之PU之預測信號係藉由運動補償之預測形成。對於每一運動假設(藉由參考圖像及運動向量指定),預測信號由指定參考圖像中移位之區塊形成,其中相對於當前PU之移位係由運動向量指定。該移位通常藉由子樣本準確度指定(在H.265|MPEG-H HEVC中,運動向量具有四分之一明度樣本之精確度)。對於非整數運動向量,預測信號係藉由內插經重構參考圖像(通常使用可分離FIR濾波器)而產生。藉由多假設預測對PU之最終預測信號係由個別運動假設之預測信號之加權和形成。通常,將同一運動參數集用於PU之明度及色度區塊。即使目前先進技術視訊寫碼標準使用平移移位向量以用於指定當前區域(樣本之區塊)相對於參考圖像之運動,亦有可能採用較高階運動模型(例如,仿射運動模型)。在彼狀況下,必須針對運動假設傳輸額外運動參數。
對於經圖像內及圖像間寫碼之CU二者,預測誤差信號(亦被稱作殘差信號)通常經由變換寫碼傳輸。在H.265|MPEG-H HEVC中,CU之明度殘差樣本之區塊以及色度殘差樣本之區塊(若存在)被分割成變換區塊(TB)。CU變為變換區塊之分割係藉由四叉樹語法指示,該四叉樹語法亦被稱作殘差四叉樹(RQT)。所得變換區塊係使用變換寫碼來進行寫碼:將2d變換應用於殘差樣本之區塊,所得變換係數使用非相依純量量化來進行量化,且所得變換係數位準(量化索引)經熵寫碼。在P及B圖塊中,在CU語法之起點處,傳輸skip_flag。若此旗標等於1,則其指示對應CU由在合併模式下經寫碼之單個預測單元組成(亦即,推斷merge_flag 等於1)且所有變換係數等於零(亦即,重構信號等於預測信號)。在彼狀況下,除skip_flag之外,僅傳輸merge_idx。若skip_flag等於0,則將預測模式(框間或框內)進行傳信。繼之以上文所描述之語法特徵。
由於已經經寫碼之圖像可用於在以下圖像中進行區塊之運動補償預測,因此圖像必須在編碼器中經充分重構。將區塊之經重構預測誤差信號(藉由重構給定量化索引之變換係數及逆變換而獲得)與對應預測信號相加且將結果寫入一當前圖像之緩衝器。在圖像之所有區塊經重構之後,可應用一或多個迴路內濾波器(例如,解塊濾波器及樣本自適應偏移濾波器)。接著將最終重構圖像儲存於經解碼圖像緩衝器中。
在下文中,描述用於預測誤差信號之變換寫碼之新概念。該概念適用於經圖像內及圖像間寫碼之區塊二者。其亦適用於非矩形樣本區域之變換寫碼。相比於習知變換寫碼,變換係數並非獨立地經量化。替代地,用於特定變換係數之該組可用重構位準取決於針對其他變換係數所選之量化索引。另外,描述對於量化索引之熵寫碼之修改,這在與相依純量量化組合時提高寫碼效率。
上文所論述之包括目前先進技術標準H.265|MPEG-H HEVC之所有主要視訊寫碼標準均利用用於對預測誤差樣本之區塊進行寫碼之變換寫碼之概念。區塊之預測誤差樣本表示原始信號之樣本與區塊之預測信號之樣本之間的差異。預測信號係藉由圖像內預測(在此狀況下當前區塊之預測信號之樣本係基於相同圖像內部相鄰區塊之已經重構樣本而導出)或藉由圖像間預測(在此狀況下預測信號之樣本係基於已經重構圖像之樣本而導出)而獲得。原始預測誤差信號之樣本係藉由自當前區塊之原始信號之樣本值減去預測信號之樣本值而獲得。
樣本區塊之變換寫碼可由線性變換、純量量化,及量化索引之熵寫碼組成。在編碼器側(參見圖2a)處,使用線性分析變換 A 轉換原始樣本之N×M區塊。結果為變換係數之N×M區塊。變換係數t k 表示不同信號空間(或不同座標系)中之原始預測誤差樣本。N×M變換係數係使用N×M非相依純量量化器來進行量化。每一變換係數t k 映射至量化索引q k ,其亦被稱作變換係數位準。所獲得量化索引q k 經熵寫碼及寫入至位元串流。
在解碼器側(參見圖2b)處,變換係數位準q k 自接收到之位元串流來進行解碼。每一變換係數位準q k 映射至經重構變換係數t ' k 。重構樣本之N×M區塊係藉由使用線性合成變換 B 變換重構變換係數之區塊而獲得。
即使視訊寫碼標準僅指定合成變換 B ,慣例亦為將合成變換 B 之逆變換在編碼器中用作分析變換 A ,亦即
Figure 02_image003
。另外,實際視訊寫碼系統中所使用之變換表示正交變換(
Figure 02_image005
)或近正交變換。對於正交變換,信號空間中之均方誤差(mean squared error,MSE)失真等於變換域中之MSE失真。正交性具有以下重要優點:原始樣本區塊與重構樣本區塊之間的MSE失真可使用非相依純量量化器而最小化。即使編碼器中所使用之實際量化過程考慮到變換係數位準(由熵寫碼引入,參見下文)之間的相依,正交變換之使用亦明顯簡化量化演算法。
對於典型預測誤差信號,變換具有以下效應:信號能量集中於幾個變換係數中。相較於原始預測誤差樣本,所得變換係數之間的統計相依降低。
在目前先進技術視訊寫碼標準中,使用可分離離散餘弦變換(II型)或其整數近似。然而,變換可易於替代而不會修改變換寫碼系統之其他態樣。在文獻或標準化文獻中已經提出之改良之實例包括: ‧ 用於經圖像內預測區塊之離散正弦變換(DST)之使用(有可能取決於框內預測模式及/或區塊大小)。應注意,H.265|MPEG-H HEVC已經包括用於經圖像內預測之4×4變換區塊之DST。 ‧ 切換變換:編碼器在一組預界定變換當中選擇實際上使用之變換。該組可用變換為編碼器及解碼器二者所已知,以至於其可使用可用變換清單中之索引高效地傳信。該組可用變換及其在清單中之排序可取決於區塊之其他寫碼參數,諸如所選框內預測模式。在特殊狀況下,所使用變換完全由諸如框內預測模式及/或區塊形狀等寫碼參數判定,以至於不需要傳輸用於指定變換之語法元素。 ‧ 不可分離變換:編碼器及解碼器中所使用之變換表示不可分離變換。應注意,切換變換之概念可包括一或多種不可分離變換。歸因於複雜度原因,不可分離變換之使用可限於某些區塊大小。 ‧ 多位準變換:實際變換由二個或多於二個變換級構成。第一變換級可由在計算上複雜度低之可分離變換組成。並且,在第二級中,所得變換係數之子組使用不可分離變換進一步進行變換。相較於用於整個變換區塊之不可分離變換,雙級方法具有以下優點:將較複雜不可分離變換應用於較少量樣本。多位準變換之概念可與切換變換之概念高效組合。
變換係數係使用純量量化器進行量化。由於量化,變換係數之該組容許值減小。換言之,變換係數映射至一組可計數(實際上,一組有限的)所謂的重構位準。該組重構位準表示該組可能的變換係數值之適當子組。為了簡化以下熵寫碼,可容許的重構位準由量化索引(亦被稱作變換係數位準)表示,傳輸該等量化索引以作為位元串流之部分。在解碼器側處,量化索引(變換係數位準)映射至重構變換係數。重構變換係數之可能值對應於該組重構位準。在編碼器側處,純量量化之結果為變換係數位準(量化索引)之區塊。
在目前先進技術視訊寫碼標準中,使用均一重構量化器(uniform reconstruction quantizer,URQ)。其基本設計說明於圖3中。URQ具有以下性質:重構位準等間隔。二個相鄰重構位準之間的距離Δ被稱作量化步長。重構位準中之一者等於0。因此,整組可用重構位準由量化步長Δ唯一地指定。原則上,量化索引q 至重構變換係數t ' 之解碼器映射由以下簡單公式給定
Figure 02_image007
在此上下文中,術語「非相依純量量化」指代以下性質:在給定任何變換係數之量化索引q 之情況下,相關聯重構變換係數t ' 可獨立於其他變換係數之量化索引而判定。
由於視訊解碼器通常利用具有標準精確度(例如,32位元)之整數算術,因此標準中所使用之實際公式可略微不同於簡單相乘。當忽略剪輯至變換係數之所支援動態範圍時,H.265|MPEG-H HEVC中之重構變換係數藉由以下獲得
Figure 02_image009
其中運算符「>>」及「>>」分別表示向左及向右之位元移位。當忽略整數算術時,量化步長Δ對應於以下項
Figure 02_image011
早期的視訊寫碼標準,諸如H.262|MPEG-2 Video亦指定經修改URQ,由此重構位準零與第一非零重構位準之間的距離相對於標稱量化步長(例如,標稱量化步長Δ之二分之三)增大。
變換係數之量化步長(或縮放及移位參數)藉由以下二個因素判定: ‧ 量化參數QP: 量化步長通常可以區塊為基礎進行修改。出於該目標,視訊寫碼標準提供一組預定量化步長。所使用量化步長(或等效地,上文引入之參數「縮放」及「移位」)係使用量化步長之預定清單中之索引來指示。該索引被稱作量化參數(QP)。在H.265|MPEG-H HEVC中,QP與量化步長之間的關係大致由以下給定
Figure 02_image013
圖塊QP通常在圖塊標頭中傳輸。一般而言,有可能基於區塊修改量化參數QP。出於該目標,可傳輸差量量化參數(delta quantization parameter,DQP)。所使用量化參數係藉由經傳輸DQP及經預測QP值判定,該經預測QP值係使用已經寫碼(通常相鄰)區塊之QP導出。
量化加權矩陣: 視訊寫碼標準常常提供針對個別變換係數使用不同量化步長之可能性。此係藉由指定所謂的量化加權矩陣 w 而實現,該等量化加權矩陣可通常基於一序列或圖像位準由編碼器選擇,且經傳輸以作為位元串流之部分。量化加權矩陣 w 與變換係數之對應區塊具有相同大小。變換係數𝑡𝑖𝑘 之量化步長Δ 𝑖𝑘 藉由以下給定
Figure 02_image015
其中
Figure 02_image017
表示所考慮區塊之量化步長(由區塊量化參數QP指示);ik 表示指定變換區塊內部之當前變換係數之座標;及𝑤 ik 表示量化加權矩陣 w 中之對應條目。
量化加權矩陣之主要意圖為提供用於以在感知上有意義的方式引入量化雜訊之可能性。藉由使用適合的加權矩陣,人類視覺之空間對比敏感性可用於實現在位元速率與主觀重構品質之間的較佳權衡。儘管如此,許多編碼器使用所謂的扁平量化矩陣(其可使用高級語法元素高效傳輸)。在此狀況下,相同量化步長Δ用於區塊中之所有變換係數。量化步長接著藉由量化參數QP完全指定。
變換係數位準(變換係數之量化索引)之區塊經熵寫碼(亦即,其以無損方式傳輸以作為位元串流之部分)。由於線性變換僅可降低線性相依,因此對於變換係數位準之熵寫碼通常以一方式設計使得區塊中變換係數位準之間的剩餘非線性相依可用於高效寫碼。熟知實例為MPEG-2 Video中之運行位準寫碼、H.263及MPEG-4 Visual中之最後的運行位準寫碼、H.264|MPEG-4 AVC中之上下文自適應可變長度寫碼(CAVLC),及H.264|MPEG-4 AVC及H.265|MPEG-H HEVC中之基於上下文之自適應二進位算術寫碼(CABAC)。
目前先進技術視訊寫碼標準H.265|MPEG-H HEVC中指定之CABAC遵循可針對各種變換區塊大小應用之通用概念。大於4×4樣本之變換區塊,諸如圖4a中之10被分割成4×4子區塊12。該分割說明於圖4a中,例如16×16變換區塊10。一般而言,4×4子區塊之寫碼次序以及子區塊內部之變換係數位準之寫碼次序由圖4中所示之逆向對角線掃描14指定。對於某些經圖像內預測區塊,使用水平或豎直掃描圖案(取決於實際框內預測模式)。寫碼次序始終開始於高頻位置。
在H.265|MPEG-H HEVC中,基於4×4子區塊傳輸變換係數位準。變換係數位準之無損寫碼包括以下步驟: 1. 傳輸語法元素coded_block_flag,其將變換區塊中是否存在任何非零變換係數位準進行傳信。若coded_block_flag等於0,則不進一步針對變換區塊對資料進行寫碼。 2. 傳輸按寫碼次序(例如,圖4中所說明之逐區塊逆向對角線掃描次序)第一非零變換係數位準之x及y座標。將座標之傳輸分裂成首碼及尾碼部分。標準使用語法元素last_sig_coeff_x_prefix、last_sig_coeff_y_prefix、last_sig_coeff_x_suffix,及last_sig_coeff_x_suffix。 3. 自按寫碼次序含有第一非零變換係數位準之4×4子區塊開始,按寫碼次序處理4×4子區塊,其中子區塊之寫碼包括以下主要步驟: a. 傳輸語法元素coded_sub_block_flag,其指示子區塊是否含有任何非零變換係數位準。對於第一及最後一個4×4子區塊(亦即,含有第一非零變換係數位準或DC位準之子區塊),此旗標未經傳輸但經推斷等於一。 b. 對於子區塊內部coded_sub_block_flag等於一之所有變換係數位準,語法元素significant_coeff_flag指示對應變換係數位準是否不等於零。若無法基於已經傳輸資料推斷此旗標之值,則此旗標僅經傳輸。詳言之,若DC係數與第一非零係數(按寫碼次序)位於不同子區塊中且用於最後一個子區塊之所有其他significant_coeff_flag等於零,則並不針對第一重要掃描位置(由經傳輸x及y座標指定)傳輸旗標且其並不傳輸用於DC係數。 c. 對於significant_coeff_flag等於一之前八個變換係數位準(若有),傳輸旗標coeff_abs_level_greater1_flag。其指示變換係數位準之絕對值是否大於一。 d. 對於coeff_abs_level_greater1_flag等於一之第一變換係數位準(若有),傳輸旗標coeff_abs_level_greater2_flag。其指示變換係數位準之絕對值是否大於二。 e. 對於significant_coeff_flag等於一之所有位準(異常描述於下文中),傳輸語法元素coeff_sign_flag,其指定變換係數位準之正負號。 f. 對於絕對值尚未完全由significant_coeff_flag、coeff_abs_level_greater1_flag及coeff_abs_level_greater2_flag之值指定(若傳輸旗標中之任一者等於零,則絕對值完全經指定)之所有變換係數位準,絕對值之其餘部分使用多位準語法元素coeff_abs_level_remaining傳輸。
在H.265|MPEG-H HEVC中,所有語法元素均使用基於上下文之自適應二進位算術寫碼(CABAC)進行寫碼。所有非二進位語法元素首先映射至亦被稱作二進位之一系列二進位決策上。所得二進位序列使用二進位算術寫碼進行寫碼。出於該目標,每一二進位與亦被稱作上下文之機率模型(二進位機率質量函數)相關聯。對於大部分二進位,上下文表示自適應機率模型,此意謂相關聯二進位機率質量函數係基於實際上經寫碼之二進位值來進行更新。可藉由基於已經傳輸資料針對某些二進位切換上下文而利用條件性機率。CABAC亦包括所謂的旁路模式,其中使用固定機率質量函數(0.5,0.5)。
針對coded_sub_block_flag之寫碼選擇之上下文取決於用於已經寫碼之相鄰子區塊之coded_sub_block_flag之值。significant_coeff_flag之上下文係基於子區塊內部之掃描位置(x及y座標)、變換區塊之大小,及相鄰子區塊中coded_sub_block_flag之值而選擇。對於旗標coeff_abs_level_greater1_flag及coeff_abs_level_greater2_flag,上下文選擇取決於當前子區塊是否包括DC係數及等於一之任何coeff_abs_level_greater1_flag是否已經傳輸用於相鄰子區塊。對於coeff_abs_level_greater1_flag,上下文選擇進一步取決於子區塊之已經寫碼之coeff_abs_level_greater1_flag之數目及值。
正負號coeff_sign_flag及絕對值之其餘部分coeff_abs_level_remaining係在二進位算術寫碼器之旁路模式下進行寫碼。為了將coeff_abs_level_remaining映射至二進位(二進位決策)之序列上,使用自適應二進位化方案。二進位化由單個參數(被稱作萊斯參數)控制,基於子區塊之已經寫碼值調適該參數。
H.265|MPEG-H HEVC亦包括所謂的正負號資料隱藏模式,其中(在某些條件下)省略子區塊內部最後一個非零位準之正負號之傳輸。替代地,將此位準之正負號嵌入於對應子區塊之位準之絕對值之總和之同位中。應注意,編碼器必須在判定適合的變換係數位準時考慮此態樣。
視訊寫碼標準僅指定位元串流語法及重構過程。若考慮針對原始預測誤差樣本之給定區塊及給定量化步長之變換寫碼,則編碼器具有較高自由度。在給定用於變換區塊之量化索引𝑞 k 之情況下,熵寫碼必須遵循用於將資料寫入至位元串流(亦即,建構算術碼字)之唯一界定演算法。但給定預測誤差樣本之原始區塊之用於獲得量化索引𝑞 k 之編碼器演算法在視訊寫碼標準範疇之外。此外,編碼器具有基於區塊選擇量化參數QP之自由度。對於以下描述,假定給定量化參數QP及量化加權矩陣。因此,每一變換係數之量化步長已知。進一步假定編碼器執行分析變換,其為用於獲得原始變換係數
Figure 02_image019
之指定合成變換之逆變換(或逆變換之非常緊密之近似)。甚至在此等條件下,編碼器具有為每一原始變換係數
Figure 02_image019
選擇量化器索引𝑞 k 之自由度。由於變換係數位準之選擇判定失真(或重構/近似品質)及位元速率二者,因此所使用量化演算法對所產生位元串流之速率-失真效能具有顯著影響。
最簡單量化方法將原始變換係數
Figure 02_image019
捨入至最接近重構位準。對於通常使用之URQ,對應量化索引𝑞 k 可根據以下判定
Figure 02_image021
其中sgn()為正負號函數且運算符
Figure 02_image023
得到小於或等於其自變量之最大整數。此量化方法保證MSE失真
Figure 02_image025
經最小化,但其完全忽略了用於傳輸所得變換係數位準𝑞 𝑘 所需的位元速率。通常,若捨入偏置朝向零,則獲得較佳結果:
Figure 02_image027
獲得速率-失真感測中之最佳結果,若量化過程使拉格朗日函數
Figure 02_image029
最小化,其中D 表示變換區塊之失真(例如,MSE失真),R 指定用於傳輸區塊之變換係數位準所需的位元之數目,且𝜆 為拉格朗日乘數。
對於使用QP與量化步長之間的關係
Figure 02_image031
之編解碼器
Figure 02_image033
(諸如H.264|MPEG-4 AVC或H.265|MPEG-H HEVC),常常使用拉格朗日乘數𝜆與區塊量化參數QP之間的以下關係
Figure 02_image035
其中
Figure 02_image037
Figure 02_image039
表示用於圖塊或圖像之常數因數。 旨在使失真及速率之拉格朗日函數
Figure 02_image029
最小化之量化演算法亦被稱作速率-失真最佳化量化(RDOQ)。若使用MSE或加權MSE量測失真,則變換區塊之量化索引𝑞 k 應以一方式判定,以至於以下成本度量最小化:
Figure 02_image041
此處,變換係數索引k 指定變換係數位準之寫碼次序(或掃描次序)。項
Figure 02_image043
表示用於傳輸量化索引
Figure 02_image045
所需的位元之數目(或其估計值)。情況說明(歸因於組合或條件性機率之使用),用於特定變換係數位準𝑞 𝑘 之位元之數目通常取決於按寫碼次序先前變換係數位準
Figure 02_image047
等之所選值。上述方程中之因數𝛼 𝑘 可用於對個別變換係數之貢獻進行加權,例如用於模型化人類視覺之對比敏感性。在下文中,通常假定所有加權因數𝛼𝑘 均等於1 (但可以一方式直接修改演算法使得可考慮不同加權因數)。
對於H.265|MPEG-H HEVC中之變換係數寫碼,速率項之準確計算非常複雜,由於大部分二進位決策係使用自適應機率模型進行寫碼。但若忽略機率模型選擇之一些態樣且忽略在變換區塊內部調適機率模型,則有可能設計複雜度合理的RDOQ演算法。H.265|MPEG-H HEVC之以參考軟體實施之RDOQ演算法由以下基本處理步驟組成: 1. 對於每一掃描位置k ,藉由在位準並不推斷為等於零之假定下使拉格朗日成本
Figure 02_image049
最小化而選擇變換係數位準
Figure 02_image045
Figure 02_image051
表示(加權)均方誤差
Figure 02_image053
Figure 02_image055
表示用於傳輸
Figure 02_image045
所需的位元之數目之估計值。 2. 用於4×4子區塊之旗標coded_sub_block_flag係藉由比較以下二個狀況之拉格朗日成本而判定:(a)使用在步驟1中所選之變換係數位準;(b)將語法元素coded_sub_block_flag設定為等於零,且因此將4×4子區塊之所有變換係數位準均設定為等於零。 3. 第一非零變換係數位準之位置係藉由比較藉由選擇非零變換係數位準中之一者(在步驟2之後)以作為按寫碼次序之第一非零變換係數位準所獲得之拉格朗日成本而判定(將先前變換係數位準設定為等於零)。 4. coded_block_flag係藉由比較在步驟3及變換區塊內部之所有變換係數位準均設定成等於零之狀況之後所獲得的變換係數位準之序列的拉格朗日成本而判定。
下文描述用於變換寫碼之修改概念。相對於習知變換寫碼之修改在於變換係數並不獨立地經量化及重構。替代地,變換係數之可容許的重構位準取決於針對按重構次序之先前變換係數所選之量化索引。將相依純量量化之概念與經修改熵寫碼組合,其中對於變換係數之機率模型選擇(或替代地,碼字表格選擇)取決於可容許的重構位準組。
變換係數之相依量化之優點在於可容許的重構向量更密集地封裝於N 維信號空間中(其中N 表示變換區塊中樣本或變換係數之數目)。變換區塊之重構向量指代變換區塊之經定序重構變換係數(或替代地,經定序重構樣本)。在圖5中說明相依純量量化之效應以用於二個變換係數之最簡單狀況。圖5展示用於非相依純量量化之可容許的重構向量(其表示2d平面中之點)。如可看出,用於第二變換係數
Figure 02_image057
之該組容許值並不取決於用於第一重構變換係數
Figure 02_image059
之所選值。圖5b展示相依純量量化之實例。應注意,相比於非相依純量量化,第二變換係數
Figure 02_image057
之可選擇重構值取決於第一變換係數
Figure 02_image059
之所選重構位準。在圖5b之實例中,存在用於第二變換係數
Figure 02_image057
之二個不同可用重構位準組(由不同顏色說明)。若第一變換係數
Figure 02_image059
之量化索引為偶數(…、-2、0、2、…),則可為第二變換係數
Figure 02_image057
選擇第一組之任何重構位準(藍色點)。且若第一變換係數
Figure 02_image059
之量化索引為奇數(…、-3、-1、1、3、…),則可為第二變換係數
Figure 02_image057
選擇第二組之任何重構位準(紅色點)。在實例中,第一組與第二組重構位準移位量化步長之一半(第二組之任何重構位準位於第一組之二個重構位準之間)。
變換係數之相依純量量化具有以下效應:對於每一N維單位體積20之給定平均數目之重構向量,變換係數之給定輸入向量與最接近的可用重構向量之間的距離之預期值減小。因此,對於給定平均數目之位元,變換係數之輸入向量與重構變換係數之向量之間的平均失真可減小。在向量量化中,此效應被稱作空間填充增益。在針對變換區塊使用相依純量量化之情況下,可利用高維向量量化之潛在的空間填充增益之主要部分。且,相比於向量量化,重構過程(或解碼過程)之實施複雜度與具有非相依純量量化器之習知變換寫碼之複雜度相當。
在相依純量量化情況下之變換解碼器30之方塊圖說明於圖6a中且包含熵解碼器32、用於相依純量反量化之量化級34,及合成變換器36。主要改變(以紅色突出顯示)為相依量化。如由豎直箭頭指示,重構次序索引
Figure 02_image061
之重構變換係數
Figure 02_image063
不僅取決於相關聯量化索引
Figure 02_image045
,而且取決於按重構次序先前變換係數
Figure 02_image065
之量化索引。應注意,在相依量化中,變換係數13之重構次序必須唯一地界定。若在熵寫碼中亦利用關於與量化索引
Figure 02_image045
相關聯之該組重構位準之知識,則通常可改良總體變換編解碼器之效能。這意謂通常傾向於基於適用於變換係數之該組重構位準切換上下文(機率模型)或碼字表格。
配合圖6a之解碼器之變換編碼器40描繪於圖6b中且由分析變換46、量化模組44,及熵寫碼器42組成。如分析變換46,通常使用合成變換36之逆變換(或逆變換之極近似),且通常在給定熵解碼過程32之情況下唯一地指定熵寫碼42。但,類似於在習知變換寫碼中,在給定原始變換係數之情況下選擇量化索引具有較高自由度。
本發明之實施例並不限於基於區塊之變換寫碼。其亦適用於樣本之任何有限集合之變換寫碼。可使用將一組樣本映射至一組變換係數上之任何種類之變換。此包括線性及非線性變換。所使用變換亦可表示過完整(變換係數之數目大於樣本之數目)或不夠完整(變換係數之數目小於樣本之數目)的變換。在一實施例中,將相依量化與正交基函數之線性變換組合。歸因於整數實施方案,變換可偏離線性變換(歸因於變換步驟中之捨入)。此外,變換可表示具有正交基函數之變換之整數近似(在此狀況下,基函數可僅近似正交)。在特殊狀況下,變換可表示識別碼變換,在此狀況下樣本或殘差樣本直接經量化。
在一實施例中,下文論述之相依量化概念用於樣本區塊(例如,原始樣本之區塊或預測誤差樣本之區塊)之變換寫碼。在此上下文中,變換可表示可分離變換、不可分離變換、可分離初級變換與不可分離次級變換之組合(其中第二變換可應用於在初級變換之後獲得之所有係數或係數之子組)。若不可分離次級變換應用於子組,則子組可由變換係數之所獲得矩陣之子區塊組成或其可表示在初級變換之後獲得之變換係數之任何其他子組(例如,變換係數之區塊內部的任意形狀區域)。變換亦可表示具有多於二個變換位準之多位準變換。
變換係數之相依量化之細節及實施例描述於下文中。此外,描述對指定用於相依純量量化之重構變換係數之量化索引進行熵寫碼之各種方式。另外,提出用於相依及非相依純量量化之間的區塊自適應選擇之任選方法以及用於調適量化步長之方法。最後,論述用於在編碼器中判定用於相依量化之量化索引之方法。
變換係數之相依量化指代以下概念:用於變換係數之該組可用重構位準取決於針對按重構次序之先前變換係數所選之量化索引(通常限於相同變換區塊內部之量化索引)。
在一實施例中,多組重構位準經預界定且基於按寫碼次序之先前變換係數之量化索引,選擇預定組中之一者以用於重構當前變換係數。首先描述用於界定重構位準組之一些實施例。所選重構位準之識別及傳信描述於下文中。描述用於為當前變換係數選擇預界定重構位準組中之一者(基於按重構次序之先前變換係數之所選量化索引)的甚至其他實施例。
在一實施例中,且如圖7a及圖7b中所示,在重構位準之預界定組52之集合50 (兩個或多於兩個組)當中為當前變換係數13'選擇54可容許的重構位準組48 (基於按寫碼次序14之先前變換係數之量化索引56之組58)。集合50可用於所有係數13,然而,其中參考對組52之可能的可參數化特性之後續描述。在一特定實施例中且如後續實例中所示,藉由基於區塊之量化參數對重構位準組中之重構位準之值進行參數化60。這意謂視訊編解碼器基於區塊(其可對應於單個變換區塊10或多個變換區塊)支援量化參數(QP)之修改且所使用重構位準組內部重構位準之值係藉由所選量化參數而判定。舉例而言,若量化參數增大,則相鄰重構位準之間的距離亦增大,且若量化參數減小,則相鄰重構位準之間的距離亦減小(或反之亦然)。
在例示性版本中,基於區塊之量化參數(QP)判定量化步長Δ (或如上文所描述之對應縮放及移位參數)且所有重構位準(在所有重構位準組中)表示量化步長Δ之整數倍數。但應注意,每一重構位準組僅包括量化步長Δ之整數倍數之子組。所有重構位準組之所有可能重構位準均表示量化步長之整數倍數的相依量化之此組配可被視為均一重構量化器(uniform reconstruction quantizer,URQ)之擴展。其基本優點在於重構變換係數可藉由計算複雜度非常低之演算法計算(如下文將更詳細地描述)。
重構位準組52可完全不相交;但亦有可能一或多個重構位準含於多個組中(而該等組之其他重構位準仍然不同)。用於特定變換係數
Figure 02_image067
之量化步長
Figure 02_image069
(其中k 指示重構次序)可不僅僅藉由區塊量化參數QP判定,但亦有可能用於特定變換係數
Figure 02_image067
之量化步長
Figure 02_image069
係藉由量化加權矩陣(WM)及區塊量化參數判定。通常,用於變換係數
Figure 02_image067
之量化步長
Figure 02_image069
係藉由用於變換係數
Figure 02_image067
之加權因數
Figure 02_image071
(由量化加權矩陣指定)與區塊量化步長
Figure 02_image017
(由區塊量化參數指定)之乘積給定,
Figure 02_image073
應注意,其中k可為當前位置編索引之重構變換係數
Figure 02_image063
之實際計算,亦即反量化62 (或重構位準之實際計算)可略微偏離理想相乘,歸因於整數實施方案或其他實施態樣。使
Figure 02_image075
為用於特定變換係數
Figure 02_image067
之量化步長且使
Figure 02_image077
指定量化步長(例如,由量化索引
Figure 02_image045
給定)之標稱整數因數。在理想相乘情況下,重構變換係數
Figure 02_image063
藉由以下給定
Figure 02_image079
歸因於對整數實施方案之限制,重構變換係數𝑡𝑘′(或對應重構位準)實際上可根據以下判定:
Figure 02_image081
或類似程序。若在以下描述中提及量化步長之整數倍數,則對應文本亦適用於類似於上文指定之一者的整數近似值。量化64涉及對應劃分。
在一實施例中,對於變換係數之相依純量量化使用二個完全不同的重構位準組52。且在一實施例中,用於變換係數tk 之二組所有重構位準表示此變換係數(其至少部分地藉由基於區塊之量化參數判定)之量化步長Δk 之整數倍數。應注意,量化步長Δk 正好表示用於二組中可容許的重構值之縮放因數。除了用於變換區塊內部之不同變換係數tk 之可能的個別量化步長Δk (及因此,個別縮放因數)之外,相同的二組重構位準用於所有變換係數。
在圖8中,說明二組重構位準之三個組配。應注意,所有重構位準均位於由量化步長Δ之整數倍數給定之柵格上。應進一步注意,二個組中可含有某些重構位準。
圖8a中所描繪之二個組不相交。該等組中之一者中僅含有量化步長Δ之每一整數倍數。在第一組(組0)含有量化步長之所有偶整數倍數時,第二組(組1)含有量化步長之所有奇整數倍數。在二個組中,任何二個相鄰重構位準之間的距離為量化步長的二倍。此等二個組通常適合於高速率量化,亦即適合於變換係數之標準差明顯大於量化步長之設定。然而,在視訊寫碼中,量化器通常在低速率範圍內操作。通常,許多原始變換係數之絕對值相較於量化步長之任何非零倍較接近於零。在彼狀況下,若零包括於二個量化組(重構位準組)中,則通常較佳。
圖8b中所說明的二個量化組均含有零。在組0中,等於零之重構位準與大於零之第一重構位準之間的距離等於量化步長,而二個相鄰重構位準之間的所有其他距離等於量化步長的二倍。類似地,在組1中,等於零之重構位準與小於零之第一重構位準之間的距離等於量化步長,而二個相鄰重構位準之間的所有其他距離等於量化步長的二倍。應注意,二個重構組圍繞零非對稱。此會導致效率低,由於這使得難以準確地估計正負號之機率。
二組重構位準之另一組配示於圖8c中。第一量化組(圖式中標註為組0)中所含有的重構位準表示量化步長之偶整數倍數(應注意,此組實際上與圖8a中之組0相同)。第二量化組(圖式中標註為組1)含有量化步長之所有奇整數倍數且另外含有等於零之重構位準。應注意,二個重構組圍繞零對稱。二個重構組中含有等於零之重構位準,否則重構組不相交。二個重構組之併集含有量化步長之所有整數倍數。
一個重構組並不限於圖8中所示之組配。可使用任何其他不同的二組重構位準。二個組中可包括多個重構位準。或二個量化組之併集可不含有量化步長之所有可能的整數倍數。此外,有可能使用多於二組重構位準以用於變換係數之相依純量量化。
關於所選重構位準之傳信,注意以下內容。編碼器在步驟64中在可容許的重構位準當中選擇的重構位準必須在位元串流14內部指示。如在習知非相依純量量化中,此可使用所謂的量化索引56實現,該量化索引亦被稱作變換係數位準。量化索引(或變換係數位準)為唯一地識別量化組48內部(亦即,一組重構位準內部)之可用重構位準的整數。將量化索引發送至解碼器以作為位元串流14之部分(使用例如任何熵寫碼技術)。在解碼器側處,可基於重構位準之當前組48 (其按寫碼/重構次序藉由先前量化索引58判定54)及當前變換係數之經傳輸量化索引56唯一地計算出重構變換係數。
在一實施例中,將量化索引指派至重構位準組48 (或量化組)內部之重構位準遵循以下規則。為了說明,圖8中之重構位準藉由相關聯量化索引標註(量化索引由圓圈下方表示重構位準之數字給定)。若一組重構位準包括等於0之重構位準,則將等於0之量化索引指派給等於0之重構位準。將等於1之量化索引指派給大於0之最小重構位準,將等於2之量化索引指派給大於0之下一個重構位準(亦即,大於0之第二最小重構位準),等等。或,換言之,將大於0之重構位準按其值之遞增次序藉由大於0之整數(亦即,1、2、3等等)標註。類似地,將量化索引-1指派給小於0之最大重構位準,將量化索引-2指派給小於0之下一個(亦即,第二大)重構位準,等等。或,換言之,將小於0之重構位準按其值之遞減次序藉由小於0之整數(亦即,-1、-2、-3等等)標註。對於圖8中之實例,說明用於所有量化組之量化索引之所描述指派,除了圖8a中之組1 (其並不包括等於0之重構位準)之外。
對於不包括等於0之重構位準之量化組,將量化索引指派至重構位準之一種方式如下。大於0之所有重構位準藉由大於0之量化索引標註(按其值之遞增次序)且小於0之所有重構位準藉由小於0之量化索引標註(按值之遞減次序)。因此,量化索引之指派基本上遵循關於包括等於0之重構位準之量化組的相同概念,具有不存在等於0之量化索引之差異(參見用於圖8a中之量化組1之標籤)。應在對量化索引進行熵寫碼時考慮該態樣。例如,量化索引常常係藉由對其絕對值(在0至最大支援值範圍內)進行寫碼,及對於不等於0之絕對值而另外對量化索引之正負號進行寫碼來傳輸。若等於0之量化索引不可用,則可以一方式修改熵寫碼使得傳輸絕對位準減去1 (0至最大支援值範圍內之對應語法元素之值)且始終傳輸正負號。作為替代方案,用於將量化索引指派至重構位準之指派規則可經修改。例如,接近零之重構位準中之一者可藉由等於0之量化索引標註。且接著,剩餘重構位準藉由以下規則標註:將大於0之量化索引指派給大於量化索引等於0之重構位準之重構位準(量化索引隨著重構位準之值而增大)。並且,將小於0之量化索引指派給小於量化索引等於0之重構位準之重構位準(量化索引隨著重構位準之值而減小)。此指派之一個可能性藉由圖8a中之圓括號中之數字說明(若圓括號中之數字未給定,則應用另一數字)。
如上文所提及,在一實施例中,使用二個不同的重構位準組52 (其亦被稱作量化組),且二個組52內部之重構位準表示量化步長Δ之整數倍數。這包括不同量化步長用於變換區塊內部之不同變換係數(例如,藉由指定量化加權矩陣)之狀況。且包括基於區塊修改量化步長(例如,藉由傳輸位元串流內部之區塊量化參數)之狀況。
表示量化步長之整數倍數之重構位準之使用在解碼器側處允許將在計算上複雜度低之演算法用於重構變換係數。此係基於下文中圖8c之實例說明(對於其他組配,亦存在類似簡單演算法,詳言之,圖8a及圖8b中所示之設定)。在圖8c中所示之組配中,第一量化組-組0包括量化步長之所有偶整數倍數且第二量化組-組1包括量化步長之所有奇整數倍數加上等於0之重構位準(其含於二個量化組中)。變換係數13'之重構過程62可類似於圖9之偽碼中所指定之演算法而實施。
在圖9a之偽碼中,level[k]表示針對變換係數𝑡 𝑘 13'之資料串流14中所傳輸之量化索引56且setId[k] (等於0或1)指定當前重構位準組48之識別符(按重構次序14基於先前量化索引58而判定54,如將在下文更詳細地描述)。變數n表示由量化索引level[k]及組識別符setId[k]給定之量化步長之整數倍數。若變換係數13'使用含有量化步長Δ𝑘 之偶整數倍數之第一組重構位準(setId[k]==0)進行寫碼,則變數n為經傳輸量化索引之二倍。若變換係數13'使用第二組重構位準(setId[k]==1)進行寫碼,則會有以下三個狀況:(a)若level[k]等於0,則n亦等於0;(b)若level[k]大於0,則n等於量化索引level[k]之二倍減去1;且(c)若level[k]小於0,則n等於量化索引level[k]之二倍加上1。此可使用以下正負號函數指定
Figure 02_image083
接著,若使用第二量化組,則變數n等於量化索引level[k]之二倍減去量化索引之正負號函數sign(level[k])。
一旦變數n (指定量化步長之整數因數)經判定,就藉由將n乘以量化步長Δ𝑘 而獲得重構變換係數𝑡 ' 𝑘 ,亦即當前係數13'。
如上文所提及,重構變換係數𝑡 ' 𝑘 可藉由整數近似獲得,而非與量化步長Δk 確切相乘。此以圖9b中之偽碼說明。在此,變數「shift」表示向右之位元移位。其值通常僅取決於區塊之量化參數(但亦有可能移位參數可針對區塊內部之不同變換係數而改變)。變數scale[k]表示用於變換係數𝑡 𝑘 之縮放因數;除區塊量化參數之外,其可例如取決於量化加權矩陣之對應條目。變數「add」指定捨入偏移,其通常被設定成等於add=(1>>(shift -1))。應注意,圖9b之偽碼中所指定之整數算術(最後一條線)在捨入異常情況下等效於與量化步長Δk 相乘,由以下給定
Figure 02_image085
圖9b中相對於圖9a之另一改變為在二組重構位準之間的切換係使用三元if-then-else運算符(a?b:c)實施,其自諸如C程式設計語言等程式設計語言而已知,然而,該改變可顛倒,或亦應用於圖9a。
除選擇上文所論述之重構位準組52以外,相依純量量化之另一重要設計態樣為用於在界定量化組(重構位準組)之間進行切換的演算法54。所使用演算法54判定可在變換係數之N 維空間20 (及因此,亦在重構樣本之N 維空間20)中實現之「填集密度」。較高填集密度最終引起寫碼效率提高。選擇過程54可使用用於每一變換係數之固定選擇規則,其中所選重構位準組取決於如下文所描述之按寫碼次序前面緊鄰之重構位準之某一數目(其中此數目例示性地為二)。此規則可使用狀態轉變表格或trellis結構實施,如下文進一步概述。
判定54用於下一個變換係數之重構位準組48之特定例示性方式係基於量化組52之分割,如圖10a中針對特定實例所說明。應注意,圖10a中所示之量化組與圖8c中之量化組為相同量化組。將二個(或更多個)量化組52中之每一者分割成二個子組。舉例而言,在圖10a中,將第一量化組(標註為組0)分割成二個子組(標註為A及B)且亦將第二量化組(標註為組1)分割成二個子組(標註為C及D)。即使這並非唯一的可能性(下文描述替代方案),對每一量化組之分割例示性地以一方式進行使得正好相鄰的重構位準(及因此,相鄰量化索引)與不同子組相關聯。在一實施例中,將每一量化組分割成二個子組。在圖8及圖10a中,量化組變成子組之分割係藉由空心圓及實心圓指示。
對於圖10a及圖8c中所說明的實施例,應用以下分割規則: ‧子組 A 由量化組0之所有偶數量化索引組成; ‧子組 B 由量化組0之所有奇數量化索引組成; ‧子組 C 由量化組1之所有偶數量化索引組成; ‧子組 D 由量化組1之所有奇數量化索引組成。
應注意,所使用子組在位元串流內部通常未明確地指示。替代地,其可基於所使用量化組(例如,組0或組1)及實際上傳輸之量化索引而導出。對於圖10a中所示之分割,子組可藉由對所傳輸量化索引level與1之逐位元「及」運算而導出。子組A由組0中(level&1)等於0之所有量化索引組成,子組B由組0中(level&1)等於1之所有量化索引組成,子組C由組1中(level&1)等於0之所有量化索引組成,且子組D由組1中(level&1)等於1之所有量化索引組成。
在一實施例中,用於重構當前變換係數之量化組(可容許的重構位準組)係基於與最後二個或多於二個量化索引相關聯之子組而判定。使用最後二個子組(其藉由最後二個量化索引給定)之實例示於圖10b之表格中。表格必須讀取如下:第一表格行中給定之第一子組表示用於前面緊鄰係數之子組且第一表格行中給定之第二子組表示用於在前面緊鄰係數之前的係數之子組。由此表格指定之量化組48之判定54表示特定實施例。在其他實施例中,用於當前變換係數13'之量化組48係藉由與最後三個或多於三個量化索引58相關聯之子組而判定。對於變換區塊之第一變換係數,不具有關於先前變換係數之子組之任何資料(由於不存在先前變換係數)。在一實施例中,在此等狀況下使用預界定值。在另一實施例中,推斷用於所有不可用變換係數之子組A。這意謂若重構第一變換係數,則二個先前子組被推斷為「AA」,且因此,若重構圖10b之相應表格,則使用量化組0。對於第二變換係數,前面緊鄰量化索引之子組係藉由其值判定(由於組0用於第一變換係數,子組為A或B),但推斷倒數第二個量化索引(其並不存在)之子組等於A。當然,任何其他規則可用於推斷非現有量化索引之預設值。亦有可能使用其他語法元素以用於導出非現有量化索引之預設子組。作為另一替代方案,亦有可能使用先前變換區塊之最後一個量化索引以供初始化。例如,用於變換係數之相依量化之概念可以一方式使用使得跨越變換區塊邊界應用相依(但相依可限於較大區塊,諸如CTU或圖塊、圖像等等之邊界)。
應注意,量化索引之子組(A、B、C或D)係藉由所使用量化組(組0或組1)及量化組內部所使用之子組(例如,針對組0之A或B,及針對組1之C或D)而判定。量化組內部所選之子組亦被稱作路徑(由於若將相依量化過程表示為如下文將描述之trellis結構,則其指定路徑)。在慣例中,路徑等於0或1。接著,子組A對應於組0中之路徑0,子組B對應於組0中之路徑1,子組C對應於組1中之路徑0,且子組D對應於組1中之路徑1。因此,用於係數13'之後的下一個變換係數之量化組48亦藉由與當前係數13'及之前的一個係數之最後二個(或更多個)量化索引58相關聯之量化組(組0或組1)及路徑(路徑0或路徑1)唯一地判定,或替代而言,用於係數13'之組48係取決於用於在13'之前的二個係數之索引58而判定。在圖10b之表格中,相關聯量化組及路徑在第二行中指定。關於第一行,第一條目表示用於前面緊鄰係數之組及路徑且第二條目表示用於在前面緊鄰係數之前的係數之組及路徑。
應注意,路徑可常常藉由簡單算術運算而判定。例如,對於圖10a中所示之組配,路徑藉由以下給定
Figure 02_image087
其中level[k]表示量化索引(變換係數位準)且運算符&指定逐位元「及」(呈二補碼整數算術運算)。
變數path可界定為先前量化索引(變換係數位準) level[k]之任何二進位函數,path = binFunction(level[k])。例如,作為替代函數,可使用path=(level[k]≠0?1:0),意謂若最後一個變換係數位準等於0,則變數path等於零且若最後一個變換係數位準不等於0,則變數path等於一。藉由此界定,子組A表示第一量化組中等於0之量化索引,子組B表示第一量化組中之所有非零量化索引,子組C表示第二量化組中等於0之量化索引,且子組D表示第二量化組中之所有非零量化索引。但如上文所提及,二個量化組變成子組之任何其他分割及因此對於路徑之任何其他二進位函數為可能的。
在量化組(組0及組1)之間的轉變亦可考究地由狀態變數表示。此狀態變數之實例示於圖10b之表格之最後一行中。對於此實例,狀態變數具有四個可能值(0、1、2、3)。一方面,狀態變數指定用於當前變換係數之量化組。在圖10b之表格之實例中,在狀態變數等於0或1時且僅在狀態變數等於0或1時才使用量化組0,且在狀態變數等於2或3時且僅在狀態變數等於2或3時才使用量化組1。另一方面,狀態變數亦指定量化組之間的可能轉變。藉由使用狀態變數,圖10b之表格之規則可由較小狀態轉變表格描述。作為實例,圖10c之表格指定針對圖10b之表格中給定之規則的狀態轉變表格。在給定當前狀態之情況下,其指定用於當前變換係數之量化組(第二行)。其進一步基於與所選量化索引相關聯之路徑指定狀態轉變(若給定量化組,則路徑指定所使用子組A、B、C或D)。應注意,藉由使用狀態變數之概念,並不需要追蹤實際上所選子組。在重構區塊之變換係數時,足以更新狀態變數且判定所使用量化索引之路徑。
在一實施例中,路徑由量化索引之同位給定。在
Figure 02_image089
為當前量化索引之情況下,路徑可根據以下判定
Figure 02_image087
其中運算符&表示呈二補碼整數算術運算之逐位元「及」運算。但,如上文所提及,最後一個變換係數之任何其他二進位函數level[k]可用於界定路徑。
在一實施例中,使用具有四個可能值之狀態變數。在其他實施例中,使用具有不同數目個可能值之狀態變數。狀態變數尤其受關注,為此狀態變數之可能值之數目表示二之整數冪,亦即4、8、16、32、64等等。應注意,在某一組配中(如圖10b及圖10c之表格中所給定),具有4個可能值之狀態變數等效於當前量化組係藉由最後二個量化索引之子組判定的方法。具有8個可能值之狀態變數將對應於當前量化組係藉由最後三個量化索引之子組判定的類似方法。具有16個可能值之狀態變數將對應於當前量化組係藉由最後四個量化索引之子組判定的方法,等等。即使通常傾向於使用具有等於二之整數冪之數目個可能值的狀態變數,亦不存在對此設定之限制。
在使用狀態轉變之概念之情況下,當前狀態及因此當前量化組54係藉由先前狀態(按重構次序)及先前量化索引唯一地判定。然而,對於變換區塊中之第一變換係數,不存在先前狀態及先前量化索引。因此,需要區塊之第一變換係數之狀態經唯一地界定。存在不同可能性。應注意,狀態之取代型設定為0至3,在此,在此實例中,在第一係數之前的二個先前係數實際上不存在。可能選擇為: ‧ 變換區塊10之第一狀態始終被設定成等於固定預界定值。在一實施例中,第一狀態被設定為等於0。 ‧ 第一狀態之值明確地經傳輸以作為位元串流之部分。此包括僅可由對應語法元素指示可能狀態值之子組的方法。 ‧ 基於變換區塊10之其他語法元素導出第一狀態之值。這意謂即使對應語法元素(或語法元素)用於將其他態樣傳信至解碼器,其另外用於導出第一狀態以供相依純量量化。 作為實例,可使用以下方法:在量化之熵寫碼(上文為cp.)中,可在傳輸量化索引之實際值之前(使用例如x及y座標)傳輸按寫碼次序140之第一非零量化索引之位置(按寫碼次序14在此第一非零量化索引之前的所有量化索引未經傳輸,但推斷等於0)。第一非零量化索引之位置亦可用於導出狀態變數之初始值。作為簡單實例,使M表示藉由按寫碼次序之第一非零量化索引之位置並不推斷等於0之量化索引之數目,接著初始狀態可設定為等於s=M % 4,其中運算符%指定模運算符。 ‧ 狀態轉變概念亦可跨越變換區塊邊界應用。這意謂變換區塊之第一狀態設定成等於按寫碼次序先前變換區塊之最後一個狀態(在最終狀態更新之後)。這意謂對於第一量化索引,先前狀態設定為等於最後一個變換區塊之最後一個狀態且先前量化索引設定為等於最後一個變換區塊之最後一個量化索引。換言之,將多個變換區塊之變換係數(或前進至區塊10之藉由按寫碼次序之第一非零量化索引之傳輸位置並不推斷為等於0之變換係數之子組)視為整體以供相依純量量化。僅在滿足某些條件時才可將多個變換區塊視為整體。例如,僅在多個變換區塊表示藉由最終區塊分裂操作獲得之區塊(亦即,其表示藉由最後一個分裂位準獲得之區塊)及/或其表示經圖像間寫碼區塊時才可將其視為整體。
用於相依純量量化之狀態轉變概念實現用於在解碼器中重構變換係數之低複雜度實施方案。單個變換區塊之變換係數之重構過程的實例使用C-樣式偽碼示於圖11中。
在圖11之偽碼中,索引k 指定變換係數13之重構次序14。應注意,在實例程式碼中,索引k 按重構次序14減小。按重構次序之最後一個變換係數具有等於k =0之索引。第一索引kstart 指定第一重構變換係數之重構索引(或更準確地,逆重構索引)。變數kstart 可設定為等於變換區塊中變換係數之數目減去1,或其可設定為等於按寫碼/重構次序之第一非零量化索引之索引(例如,若在所應用熵寫碼方法中傳輸第一非零量化索引之位置)。在後一狀況下,所有先前變換係數(索引k >kstart )推斷為等於0。每一單個變換係數之重構過程與圖9b之實例相同。關於圖9b中之實例,量化索引由level[k]表示且相關聯重構變換係數由trec[k]表示。狀態變數由「狀態」表示。應注意,在圖11之實例中,在變換區塊之起點處將狀態設定為等於0。但,如上文所論述,其他初始化(例如,基於一些語法元素之值)為可能的。1d表格setId[]指定與狀態變數之不同值相關聯之量化組且2d表格state_trans_table[][]指定給定當前狀態(第一自變量)及路徑(第二自變量)之狀態轉變。在實例中,路徑由量化索引之同位給定(使用逐位元及運算符&),但如上文所提及,其他概念(詳言之,level[k]之其他二進位函數)為可能的。表格setId[]及state_trans_table[][]之呈C-樣式語法之實例在圖12中給定(此等表格與圖10c之表格相同)。
可使用產生相同結果之算術運算,而非使用表格state_trans_table[][]以用於判定下一狀態。類似地,表格setId[]亦可使用算術運算實施(對於給定實例,表格值可表示為向右之一個位元移位,亦即「state>>1」)。或使用1d表格setId[]查找之表格與正負號函數之組合可使用算術運算實施。
在另一實施例中,自狀態轉變及相依重構過程排除等於0之所有量化索引。僅僅使用量化索引等於抑或不等於0之資訊(有可能結合第一非零量化索引之位置)以用於將變換係數分割成零及非零變換係數。相依純量量化之重構過程僅應用於非零量化索引之有序集。與等於0之量化索引相關聯之所有變換係數僅設定為等於0。對應偽碼示於圖13中。
在另一實施例中,將變換係數之區塊分解成子區塊12 (參見圖4)且語法包括將子區塊是否含有任何非零變換係數位準進行傳信之旗標。接著,在一個實施例中,僅包括等於0之量化索引(如由對應旗標傳信)之子區塊之量化係數包括於相依重構及狀態轉變過程中。在另一實施例中,自圖7a及圖7b之相依重構/相依量化及狀態轉變過程排除此等子區塊之量化索引。
54中執行之相依量化中之狀態轉變亦可使用trellis結構表示,如圖14中所說明。圖14所示之trellis對應於圖10c之表格中指定之狀態轉變。對於每一狀態,存在連接當前變換係數之狀態與按重構次序下一個變換係數之二個可能狀態的二個路徑。路徑標註為路徑0及路徑1,此數字對應於上文引入之路徑變數(對於一實施例,路徑變數等於量化索引之同位)。應注意,每一路徑唯一地指定量化索引之子組(A、B、C或D)。在圖14中,在圓括號中指定子組。在給定初始狀態(例如,狀態0)之情況下,通過trellis之路徑係由傳輸量化索引唯一地指定。
舉例而言,在圖14中,對於掃描索引k,狀態(0、1、2及3)具有以下性質(圖15亦為cp.): ‧狀態0 :先前量化索引level[k-1]指定組0之重構位準且當前量化索引level[k]指定組0之重構位準。 ‧狀態1 :先前量化索引level[k-1]指定組1之重構位準且當前量化索引level[k]指定組0之重構位準。 ‧狀態2 :先前量化索引level[k-1]指定組0之重構位準且當前量化索引level[k]指定組1之重構位準。 ‧狀態3 :先前量化索引level[k-1]指定組1之重構位準且當前量化索引level[k]指定組1之重構位準。
網格由所謂的基本網格胞元之級聯組成。此基本網格胞元之實例示於圖15中。應注意,網格並不限於具有4個狀態之網格。在其他實施例中,網格可具有更多狀態。詳言之,表示2之整數冪的狀態之任何數目均為合適的。即使網格具有多於2個狀態,用於當前變換係數之每一節點通常亦與先前變換係數之二個狀態及接下來的變換係數之二個狀態連接。然而,亦有可能節點與先前變換係數之多於二個狀態或接下來的變換係數之多於二個狀態連接。應注意,充分連接網格(每一狀態與先前變換係數之所有狀態及接下來的變換係數之所有狀態連接)將對應於非相依純量量化。
在一實施例中,初始狀態無法自由選擇(由於其將需要一定旁側資訊速率以將此決策傳輸至解碼器)。替代地,初始狀態被設定成預界定值或其值係基於其他語法元素而導出。在此狀況下,並非所有路徑及狀態均可供用於第一變換係數(或自第一非零變換係數開始之第一變換係數)。作為4狀態網格之實例,圖16展示在初始狀態設定為等於0之情況下的網格結構。
相依純量量化之一個態樣為存在對於變換係數13可容許的不同重構位準組52 (亦被稱作量化組)。用於當前變換係數之量化組48係基於用於先前變換係數之量化索引之值58而判定54。若考慮圖10a中之實例且比較二個量化組,則顯而易見地,等於零之重構位準與相鄰重構位準之間的距離在組0中比組1中大。因此,若使用組0,則量化索引等於0之機率較大且若使用組1,則該機率較小。在一實施例中,在藉由基於用於當前量化索引之量化組(或狀態)切換碼字表格或機率模型將量化索引56熵寫碼成位元串流14時利用此效應。此概念藉由例示性地使用二進位算術寫碼描繪於圖17a及圖17b中。
應注意,為了碼字表格或機率模型之合適的切換,當對當前量化索引(或當前量化索引之對應二進位決策)進行熵解碼時,所有先前量化索引之路徑(與所使用量化組之子組相關聯)必須已知。因此,變換係數13必需按重構次序14進行寫碼。因此,在一實施例中,變換係數13之寫碼次序14等於其重構次序14。除了該態樣,量化索引之任何寫碼/重構次序均為可能的,諸如視訊寫碼標準H.262|MPEG-2 Video或H.264|MPEG-4 AVC中指定之Z形掃描次序、H.265|MPEG-H HEVC中指定之對角線掃描、H.265|MPEG-H HEVC中另外指定之水平或豎直掃描為任何其他唯一界定次序。
在一實施例中,量化索引56使用二進位算術寫碼進行寫碼。出於該目標,非二進位量化索引56首先映射80至二進位決策84 (其通常被稱作二進位)之序列82上。量化索引56常常傳輸為絕對值88,且對於大於0之絕對值,傳輸為正負號86。儘管正負號86傳輸為單個二進位,但存在用於將絕對值88映射至二進位決策84之序列82上之許多可能性。在圖18之表格中,展示四個實例二進位化方法。第一二進位化方法為所謂的一元二進位化。在此,第一二進位84a指示絕對值是否大於0。第二二進位84b (若存在)指示絕對值是否大於1,第三二進位84c (若存在)指示絕對值是否大於2,等等。第二實例為指數哥倫布二進位化,其由一元部分90及固定長度部分92組成。作為第三實例,展示二進位化方案,其由一元經寫碼二進位94及使用指數哥倫布程式碼表示之尾碼部分96組成。此類二進位化方案實際上常常使用。一元二進位94通常使用自適應機率模型進行寫碼,而尾碼部分使用固定機率模型pmf (0.5,0.5)進行寫碼。一元二進位之數目並不限於等於2。其可大於2,且其實際上可針對變換區塊內部之變換係數而改變。替代指數哥倫布程式碼,任何其他唯一地可解碼程式碼可用於表示尾碼部分96。例如,可使用自適應萊斯程式碼(或類似經參數化程式碼),其中實際二進位化取決於已經針對當前變換區塊經寫碼之量化索引之值。圖18中之最後一個實例二進位化方案亦開始於一元部分98 (其中第一二進位指定絕對值是否大於0且第二二進位指定絕對值是否大於1),但下一個二進位100指定絕對值之同位,最後,其餘部分使用指數哥倫布程式碼102表示(應注意,單獨的指數哥倫布程式碼用於同位二進位之二個值中之每一者)。如先前二進位化方案所述,指數哥倫布程式碼102可用任何其他唯一地可解碼程式碼(諸如,經參數化萊斯程式碼、一元程式碼,或不同程式碼之任何級聯)替換且98中一元經寫碼二進位之數目可增大或減小,或甚至適用於變換區塊中之不同變換係數。
絕對位準之二進位之至少一部分通常使用自適應機率模型(亦被稱作上下文)進行寫碼。在一實施例中,基於量化索引56所屬之用於對應變換係數之量化組48 (或更一般而言,對應狀態變數)選擇103一或多個二進位之機率模型。所選機率模型或上下文可取決於已經傳輸量化索引之多個參數或性質,但參數中之一者為適用於經寫碼量化索引之量化組48或狀態。
在一實施例中,用於傳輸變換區塊之量化索引之語法包括如84a或呈90、94、98之第一二進位的二進位,其指定量化索引56是否等於零或其是否不等於0。用於對此二進位進行寫碼之機率模型係在一組二個或多於二個機率模型或上下文或上下文模型當中選擇。所使用機率模型之選擇取決於適用於對應量化索引之量化組48 (亦即,重構位準組)。在另一實施例中,所使用機率模型取決於當前狀態變數(狀態變數意指所使用量化組),或換言之,取決於量化組48及二個(或更多個)先前緊接係數之同位104。
在另一實施例中,用於傳輸量化索引之語法包括指定量化索引(變換係數位準)之絕對值是否大於一之二進位,諸如84b或第二二進位90、94及98。用於對此二進位進行寫碼之機率模型係在一組二個或多於二個機率模型當中進行選擇103。所使用機率模型之選擇取決於適用於對應量化索引之量化組48 (亦即,重構位準組)。在另一實施例中,所使用機率模型取決於當前狀態變數(狀態變數意指所使用量化組),或換言之,取決於量化組84及先前緊接係數之同位104。
在另一實施例中,用於傳輸變換區塊之量化索引之語法包括指定量化索引是否等於零或其是否不等於0之二進位及指定量化索引(變換係數位準)之絕對值是否大於一之二進位。用於二個二進位之機率模型之選擇103取決於用於當前量化索引之量化組或狀態變數。替代地,僅用於第一二進位(亦即,指示量化索引等於抑或不等於零之二進位)之機率模型之選擇103取決於用於當前量化索引之量化組或狀態變數。
應注意,若(至少)按寫碼次序用於先前量化索引之路徑變數(例如,由同位給定)已知,則量化組48或判定48及104之狀態變數僅可用於選擇機率模型。例如,在量化索引係關於每一子區塊基於4×4子區塊進行寫碼,從而類似於HEVC使用多次跨越變換係數之對應4×4陣列傳輸量化索引之情況下,情況並非如此。在HEVC中,在第一次跨越4×4子區塊時,傳輸旗標sig_coeff_flag,其指示對應量化索引是否不等於零。在第二次時,對於sig_coeff_flag 等於1之係數,傳輸旗標coeff_abs_level_greater1_flag,其指示對應量化索引之絕對值是否大於1。針對子區塊傳輸此等旗標中之最多8個旗標。接下來,針對coeff_abs_level_greater1_flag 等於1之第一量化索引(若有)傳輸旗標coeff_abs_level_greater2_flag。接著,針對整個子區塊傳輸正負號旗標。且最後,傳輸非二進位語法元素coeff_abs_level_remaining,其指定量化索引(變換係數位準)之絕對值之其餘部分。為了傳輸非二進位語法元素coeff_abs_level_remaining,可使用自適應萊斯程式碼。在此狀況下,不存在用於在第一遍次時判定48及104之足夠資訊。
為了使用取決於當前重構位準組(或狀態變數)之一系列機率模型,二進位之寫碼次序必須發生改變。
存在二個基本可能性: ‧ 在一實施例中,指定量化索引56之絕對值88之所有二進位82連續經寫碼。這意謂按寫碼/重構次序14所有先前量化索引56之所有二進位82 (針對絕對值88)在當前量化索引之第一二進位經寫碼之前經寫碼。正負號二進位86,亦即沿著路徑14可或可不在跨越變換係數13之第二遍次中經寫碼(其實際上可取決於所使用量化組)。用於一子區塊之正負號二進位可在子區塊之絕對值之二進位之後但在下一個子區塊之任何二進位之前經寫碼。在此狀況下,先前絕對量化索引之二進位表示之最低有效位元部分,諸如LSB自身可用於控制選擇54。 ‧ 在另一實施例中,僅指定量化索引之絕對值之二進位之子組在跨越變換係數之第一遍次中連續經寫碼。但此等二進位唯一地指定量化組(或狀態變數)。剩餘二進位在跨越變換係數之一或多個額外遍次中經寫碼。此方法可例如基於類似於圖18中之表格之右邊的行中所示之方案的二進位化方案。詳言之,此包括二進位化含有顯式同位旗標之方法(如圖18之右邊的行中例示之方法)。若假定路徑由量化索引之同位指定,則其足以在跨越變換係數之第一遍次中傳輸一元部分98及同位二進位100。然而,亦有可能第一遍次包括一或多個額外二進位。102中包括之剩餘二進位可在一或多個額外遍次中傳輸。在其他實施例中,使用類似概念。例如,一元二進位之數目可經修改或甚至基於已經傳輸符號,亦即沿著路徑14調適。且可使用不同自適應或非自適應程式碼(例如,如H.265|MPEG-H HEVC中之自適應萊斯程式碼),而非指數哥倫布程式碼。可基於子區塊使用不同遍次,在此狀況下子區塊之二進位以多個遍次進行寫碼,但在傳輸下一個子區塊之任何二進位之前傳輸子區塊之所有二進位。
圖17b展示量化索引56之熵解碼過程及因此圖17a之逆向過程,其中相反地執行二進位82之熵解碼85'及二進位82至位準56之映射80' (逆二進位化)且以相同方式執行上下文導出103。
應注意之一個態樣為當為量化索引(其亦被稱作量化位準)之二進位表示之一或多個二進位選擇機率模型取決於量化組48,亦即沿著路徑14;用於當前量化索引之(可容許的重構位準組)或對應狀態變數,亦即48及104時,變換係數之相依量化可有利地與熵寫碼組合。量化組48 (或狀態變數)由按寫碼及重構次序用於先前變換係數之量化索引(或表示量化索引之二進位之子組)給定。
根據一些實施例,將機率模型之所描述選擇與以下熵寫碼態樣中之一或多者組合: ‧ 用於變換區塊之旗標之傳輸,該旗標指定用於變換區塊之量化索引中之任一者是否並不等於零或用於變換區塊之所有量化索引是否等於零。 ‧ 係數之變換區塊(至少針對超過由區塊之尺寸或所含樣本之數目給定之預界定大小的變換區塊10)變為多個子區塊120之分割。若將變換區塊分割成多個子區塊,則對於子區塊12中之一或多者,傳輸指定子區塊是否含有任何非零量化索引之旗標(除非其係基於已經傳輸語法元素而推斷)。子區塊亦可用於指定二進位之寫碼次序。例如,二進位之寫碼可分裂成子區塊12,以至於子區塊之所有二進位在傳輸下一個子區塊之任何二進位之前經寫碼。但特定子區塊之二進位可在跨越此子區塊內部之變換係數之多個遍次中經寫碼。例如,指定用於子區塊之量化索引之絕對值之所有二進位可在任何正負號二進位經寫碼之前經寫碼。絕對值之二進位亦可分裂至多個遍次中,如上文所論述。 ‧ 按寫碼次序之第一非零量化索引之位置之傳輸。位置可傳輸為指定在變換係數13之2d陣列中之位置的x及y座標,其可按掃描次序傳輸為索引,或其可藉由任何其他方式傳輸。
如圖19a中所說明,按寫碼次序14第一非零量化索引120 (或變換係數120)之傳輸位置指定在按寫碼次序14之識別係數120 (圖19a中之非陰影部)之前的所有變換係數經推斷等於零。僅針對指定位置120處之係數及按寫碼次序14在此係數120之後的係數(圖19a中之標示陰影部)傳輸其他資料15。圖19a中之實例展示具有4×4子區塊12之16×16變換區塊10;所使用寫碼次序14為H.265|MPEG-H HEVC中指定之逐子區塊對角線掃描。應注意,對指定位置處(按寫碼次序120之第一非零係數)之量化索引56之寫碼可為特殊的。舉例而言,若對量化索引之絕對值之二進位化包含指定量化索引是否並不等於0之二進位,則針對指定位置處之量化索引(其已經知曉係數並不等於0)並不發送此二進位,替代地,推斷該二進位等於1。
使用二進位化方案傳輸量化索引之絕對值,該二進位化方案由使用自適應機率模型寫碼之多個二進位組成,且若經自適應寫碼二進位尚未完全指定絕對值,則由在算術寫碼引擎之旁路模式下經寫碼之如92、96及102之尾碼部分(對於所有二進位使用非自適應機率模型pmf(0.5,0.5))組成。用於尾碼部分之二進位化可另外取決於已經傳輸量化索引之值。
用於量化索引之絕對值之二進位化包括指定量化索引是否不等於0之經自適應寫碼之二進位,諸如84a或呈90、94或98之第一二進位。用於對此二進位進行寫碼之機率模型(亦被稱作上下文)係在一組候選機率(上下文)模型當中進行選擇。所選候選機率模型不僅可藉由量化組48 (可容許的重構位準組)或用於當前量化索引之狀態變數(48及104)判定,而且其亦藉由變換區塊10之已經傳輸量化索引(或指定量化索引之一部分之二進位,如上文所描述)或按寫碼次序16在當前量化索引之前的係數13之索引56 (或其部分)而判定。在一實施例中,量化組48 (或狀態變數)判定可用機率模型之子組(亦被稱作上下文組)且量化索引之已經寫碼二進位之值判定此子組(上下文組)內部之所使用機率模型。
在第一實施例中,上下文組內部之所使用機率模型係藉由相鄰子區塊之coded_subblock_flag (其指定子區塊是否包括任何非零量化索引)之值判定(類似於H.265|MPEG-H HEVC)。
在另一實施例中,上下文組內部之所使用機率模型係基於當前變換係數之本端鄰域122中已經寫碼量化索引(或量化索引之已經寫碼二進位)之值而判定。此本端鄰域之實例可被稱作模板122且示於圖19b中。在圖式中,將當前變換係數13'標示為黑色且將本端鄰域122標示為陰影。在下文中,列出一些實例度量,其可基於本端鄰域122中之量化索引(或部分重構量化索引,由在當前二進位之前傳輸之二進位給定)之值導出且可接著用於選擇預定上下文組之機率模型: o 本端鄰域122內部不等於0之量化索引之數目。此數目有可能剪輯至最大值;及/或 o 本端鄰域122中量化索引之絕對值之總和。此數目可剪輯至最大值;及/或 o 本端鄰域中量化索引之絕對值之總和與本端鄰域內部不等於0之量化索引之數目的差。此數目可剪輯至最大值。
對於以多個遍次傳輸量化索引之絕對值之二進位(如上文所論述)之寫碼次序,使用已經傳輸之二進位計算出上述度量。這意謂使用部分重構絕對值,而非完全重構絕對值(其並不已知)。
在此上下文中,可使用量化步長之整數倍數,而非量化索引(其為位元串流內部所傳輸之整數)。此等因數為圖9a、圖9b、圖11及圖13中之偽碼實例中之變數n。其表示重構變換係數與量化步長之商(捨入至最接近整數)。
此外,可使用可用於解碼器之其他資料(明確地使用或結合上文所列之度量使用)以用於導出預定上下文組內部之機率模型。此類資料包括: o 區塊10中當前變換係數13'之位置(x座標、y座標、對角線數目,或其任何組合)。 o 當前區塊10之大小(豎直大小、水平大小、樣本數目,或其任何組合)。 o 當前變換區塊16之縱橫比。
用於量化索引之絕對值之二進位化包括指定量化索引之絕對值是否大於1之經自適應寫碼之二進位。用於對此二進位進行寫碼之機率模型(如被稱為上下文)係在一組候選機率模型當中進行選擇。所選機率模型不僅可藉由量化組48 (可容許的重構位準組)或用於當前量化索引之狀態變數,亦即48及104判定,而且其亦或專門藉由用於變換區塊之已經傳輸量化索引判定。在一實施例中,量化組(或狀態變數)判定可用機率模型之子組(亦被稱作上下文組)且已經寫碼量化索引之資料判定此子組(上下文組)內部之所使用機率模型。在另一實施例中,相同上下文組用於所有量化組/狀態變數,且已經寫碼量化索引之資料判定所使用機率模型。為了選擇機率模型,可使用上文所描述之方法中之任一者(針對指定量化索引是否不等於0之二進位)。
可應用在相依純量量化與非相依純量量化之間的自適應選擇。在一個實施例中,將具有相依量化之變換寫碼(及可能,對量化索引之經調適熵寫碼)應用於所有變換區塊。例外可為在無損寫碼模式下(亦即,在無任何量化的情況下)或在並不包括變換之寫碼模式下經寫碼之區塊。
亦有可能編解碼器包含二個變換寫碼模式:(a)具有非相依純量量化之習知變換寫碼及(b)具有相依量化之變換寫碼。將二個變換寫碼方法(具有非相依或相依純量量化之變換寫碼)中之哪一者用於變換區塊可使用適合的語法元素明確地傳信至解碼器或可基於其他語法元素導出。亦有可能首先明確地將是否啟動具有相依量化之變換寫碼進行傳信,且接著(若啟動)基於其他語法元素導出實際上是否將具有相依量化之變換寫碼用於變換區塊。
顯式傳信可包含以下方法中之一或多者: ‧ 在諸如序列參數集、圖像參數集或圖塊標頭等高級語法結構中傳輸之高級語法元素(通常為旗標)指示使用具有相依量化之變換寫碼抑或具有非相依純量量化之習知變換寫碼。在此上下文中,有可能僅針對明度或色度區塊(或更一般而言,某些色彩通道之區塊)啟動/禁止相依量化之使用。在另一實施例中,高級語法元素指示針對經寫碼視訊序列、圖像或圖塊是否啟動具有相依量化之變換寫碼(有可能僅針對明度或色度區塊啟動具有相依量化之變換寫碼)。若針對經寫碼視訊序列、圖像或圖塊啟動具有相依量化之變換寫碼,則將變換寫碼方法中之哪一者用於區塊的實際決策可基於某些區塊參數導出(參見下文)。同樣,專用語法元素可用於將明度及色度區塊之不同設定進行傳信。
語法可包括低級語法元素(亦即,以區塊為基礎之語法元素),其指定將具有相依量化之變換寫碼抑或習知變換寫碼用於對應區塊。此類語法元素可基於CTU、CU、變換區塊等等進行傳輸。若針對包括多個變換區塊之實體對此類語法元素進行寫碼,則這適用於所含之所有變換區塊。然而,這可僅適用於某些色彩通道之變換區塊(例如,僅適用於明度區塊或僅適用於色度區塊)。
除顯式傳信之外,使用對變換係數之相依量化抑或非相依量化對變換區塊進行寫碼的決策亦可基於對應區塊之參數而導出。此等參數必須在傳輸用於區塊之變換係數之實際量化索引之前經寫碼(或基於其他已經傳輸語法元素導出)。在其他可能性當中,區塊自適應決策可基於以下參數中之一或多者: ‧ 區塊量化參數:例如,對於量化參數(QP)小於特定臨限值(其亦可指示於高級語法結構中)之區塊,使用具有相依量化之變換寫碼;且對於QP大於或等於臨限值之區塊,使用具有非相依純量量化之習知變換寫碼。 ‧ 按寫碼次序之第一非零量化索引之位置:在給定第一非零係數之位置之情況下,可導出實際上經傳輸之量化索引之數目(不包括基於第一非零量化索引之傳輸位置推斷為等於0之量化索引)。作為實例,對於實際上經傳輸之量化索引之數目大於臨限值(臨限值可或可不取決於區塊之大小或區塊內部樣本之數目)之區塊,使用相依量化,且對於所有其他區塊,使用非相依純量量化。
除第一非零係數之位置之外,指示子區塊是否含有任何非零量化索引之旗標可用於判定實際傳輸量化索引之數目。在此狀況下,所謂的經寫碼子區塊旗標(其指示子區塊是否含有任何非零係數)必須在第一量化索引經寫碼之前經寫碼。
變換區塊之大小(水平大小、豎直大小或變換區塊中樣本之數目)。
用於重構變換區塊之變換(或變換類型)。此準則可應用於支援多種變換之視訊編解碼器中。
上文指定之準則之任何組合。
對於具有相依純量量化之變換寫碼及習知變換寫碼(具有非相依純量量化)二者可共同用於圖像或圖塊中之實施例,可傾向於針對這二種方法使用量化步長與量化參數之間的不同關係。例如,解碼器可包含用於非相依量化的用於將區塊量化參數映射至量化步長之一個表格及用於相依量化的用於將區塊量化參數映射至量化步長之另一表格。替代地,解碼器可包含用於將量化參數映射至量化步長之單個表格(如在H.265|MPEG-H AVC中),但對於使用相依純量量化之變換區塊,在將量化步長用於變換係數之重構過程中之前,將其乘以預界定因數。應注意,為了重構變換係數,與量化步長相乘實際上可實施為相乘與位元移位之組合。接著,標稱量化步長與預界定因數之相乘可實施為對位元移位之修改及對縮放因數之修改。如另一替代方案,對於使用相依量化進行寫碼之變換區塊,在將偏移映射至所使用量化步長之前,可將偏移加至量化參數(或自量化參數減去偏移)。
此外,對於具有相依量化之變換寫碼,所使用量化步長可基於變換係數之數目進行調適。出於該目標,可使用上文所描述之用於修改量化大小之技術中之任一者(查找表、相乘因數、對縮放參數及位元移位參數之修改)。實際傳輸量化索引之數目可藉由以下方法中之一或多者(或藉由任何其他方式)判定: ‧ 所傳輸量化索引之數目可基於按寫碼次序第一非零量化索引之位置而導出(參見上文)。 ‧ 所傳輸量化索引之數目可基於按寫碼次序第一非零量化索引之位置及所傳輸經寫碼子區塊旗標之值而導出(經寫碼子區塊旗標指示子區塊是否含有任何非零量化索引,或替代地,是否含有任何非零變換係數)。 ‧ 所傳輸量化索引(用於判定量化步長)之數目可基於變換區塊內部非零量化索引之數目而導出。
應注意,並不需要已知用於對量化索引進行熵解碼之量化步長。僅需要該量化步長以用於變換係數之實際重構。因此,任何語法元素及所導出參數可用於計算變換係數之重構中所使用之量化步長。
作為用於編碼之實例方法,提供以下描述。
為了獲得提供失真(重構品質)與位元速率之間的極好權衡的位元串流,應以一方式選擇量化索引使得拉格朗日成本度量
Figure 02_image091
最小化。對於非相依純量量化,此量化演算法(被稱作速率-失真最佳化量化或RDOQ)論述於上文中。但相較於非相依純量量化,具有額外困難。經重構變換係數
Figure 02_image063
及因此其失真
Figure 02_image093
不僅取決於相關聯量化索引
Figure 02_image045
,而且取決於按寫碼次序之先前量化索引之值。
然而,如上文已論述,變換係數之間的相依可使用網格結構表示。為了進一步描述,使用圖10a中給定之實施例作為實例。舉例而言,8個變換係數之區塊之網格結構示於圖20中。通過網格(自左至右)之路徑表示量化索引之可能狀態轉變。應注意,二個節點之間的每一連接表示特定子組(A、B、C、D)之量化索引。若自子組(A、B、C、D)中之每一者選擇量化索引𝑞𝑘 且指派對應速率-失真成本
Figure 02_image095
至二個網格節點之間的相關聯連接,則判定使總體速率-失真成本
Figure 02_image029
最小化之量化索引向量/區塊之問題等效於發現通過網格(在圖20中自左至右)之路徑之成本最小的路徑。若忽略熵寫碼中之一些相依(類似於RDOQ),則此最小化問題可使用熟知維特比演算法解決。
用於選擇用於變換區塊之合適的量化索引之實例編碼演算法可由以下主要步驟組成: 1. 將初始狀態之速率-失真成本設定為等於0。 2. 對於按寫碼次序之所有變換係數,執行以下操作: a. 對於每一子組A、B、C、D,判定使給定原始變換係數之失真最小化的量化索引。 b. 對於用於當前變換係數之所有網格節點(0、1、2、3),執行以下操作: i. 計算連接先前變換係數之狀態與當前狀態的二個路徑之速率-失真成本。成本給定為先前狀態之成本與成本
Figure 02_image097
之總和,其中
Figure 02_image099
Figure 02_image101
表示用於選擇與所考慮連接相關聯之子組(A、B、C、D)之量化索引的失真及速率。 ii. 將計算出的成本之最小值指派至當前節點且將連接修剪至並不表示最小成本路徑之先前變換係數之狀態。 應注意:在此步驟之後,當前變換係數之所有節點均具有與先前變換係數之任何節點之單個連接。 3. 比較4個最末節點(針對按寫碼次序之最後一個係數)之成本且選擇具有最小成本之節點。應注意,此節點與通過網格之唯一路徑相關聯(在先前步驟中修剪所有其他連接)。 4. 遵循所選路徑(由最末節點指定)為逆向次序且收集與網格節點之間的連接相關聯之量化索引。
應注意,基於維特比(Viterbi)演算法對量化索引之判定實質上並不比用於非相依純量量化之速率-失真最佳化量化(rate-distortion optimized quantization,RDOQ)複雜。儘管如此,亦存在用於相依量化之較簡單編碼演算法。例如,自預界定初始狀態(或量化組)開始,量化索引可按寫碼/重構次序藉由使僅考慮當前量化索引之影響之任何成本度量最小化而判定。在給定用於當前係數之判定量化索引(及所有先前量化索引)之情況下,用於下一個變換係數之量化組為已知的。並且,因此,演算法可按寫碼次序應用於所有變換係數。
總之,圖1、圖6b、圖7a,及其與圖17a之任何組合中所示之編碼器表示本申請案之媒體信號編碼器之實例。同時,圖6a、圖7b,及其與圖17b之任何組合表示本申請案之媒體信號解碼器之實例。儘管如此,剛好作為預防性措施,且當圖1主要引入為展示由HEVC編碼器使用之結構時,同樣應注意,圖1形成可能的實施例,亦即用於將由圖像212之序列構成之視訊211預測性地寫碼成資料串流14的設備。為此目的,使用逐區塊之預測性寫碼。另外,例示性地使用基於變換之殘差寫碼。使用參考正負號210指示該設備或編碼器。圖21展示對應解碼器220,亦即經組配以自該資料串流14預測性地解碼由圖像區塊中之圖像212'構成之視訊211'的設備220,在此亦例示性地使用基於變換之殘差解碼,其中撇號已經用於指示分別由解碼器220重構之圖像212'及視訊211'依據由預測殘差信號之量化引入之寫碼損耗偏離原先由設備210編碼之圖像212。圖1及圖21例示性地使用基於變換之預測殘差寫碼,但本申請案之實施例並不限於此種預測殘差寫碼或甚至並不限於包括預測殘差之寫碼及量化之預測性寫碼。
編碼器210經組配以使預測殘差信號經受空間-頻譜變換且將因此獲得之預測殘差信號編碼成資料串流14。同樣,解碼器220經組配以自該資料串流14解碼預測殘差信號且使因此獲得之預測殘差信號經受頻譜-空間變換。
在內部,編碼器210可包含預測殘差信號形成器222,其產生預測殘差224以便量測預測信號226與原始信號,亦即視訊211或當前圖像212之偏差。預測殘差信號形成器222可例如為自原始信號,亦即當前圖像212減去預測信號之減法器。編碼器210接著進一步包含變換及量化級228,其使預測殘差信號224經受上述變換中之任一者以獲得經變換預測殘差信號,且使該預測殘差信號經受量化。上文已經相對於圖7a描述量化概念。因此經量化之預測殘差信號224''被寫碼成位元串流14且由前文提及之量化索引56組成。為編碼成資料串流14起見,編碼器210可任選地包含熵寫碼器234,其將經變換及量化之預測殘差信號熵寫碼成資料串流14。可在解碼器側處經重構之經量化預測殘差信號224'''係基於藉由使用反量化及逆變換級238經編碼成資料串流14及可自該資料串流解碼之預測殘差信號224''而產生,該反量化及逆變換級根據圖7b對預測殘差信號224''進行反量化以便獲得經重構變換係數13,且使由係數13構成之變換經受逆變換,諸如上文所論述之逆變換中之一者以獲得預測殘差信號224''',其對應於除了量化損耗以外的預測殘差信號224。組合器242接著諸如藉由將重新結合預測信號226與經重構預測殘差信號224'''相加以便獲得重構信號246,亦即原始信號212之重構。經重構信號246可對應於信號212'或表示預先重構信號,其將經受迴路內濾波247以獲得重構信號212',及/或經受後濾波(圖1中未展示)。預測模組244接著藉由使用例如空間預測248,亦即框內預測;及/或時間預測249,亦即框間預測基於信號246產生預測信號226。熵寫碼器234不僅將預測殘差224''熵寫碼至該資料串流14中,而且除殘差資料224''外,亦將諸如預測模式、預測參數、量化參數及/或濾波器參數之描述圖像的其他寫碼資料熵寫碼至該資料串流中。熵寫碼器234以無損方式將所有此資料編碼至資料串流14中。
同樣,解碼器220在內部可由對應於由預測模組244及組合器242及級234及238之逆向級形成之預測迴路的組件構成,且以對應於該預測迴路之方式互連。詳言之,解碼器220之熵解碼器250可自資料串流對經量化譜域預測殘差信號224''進行熵解碼。可以與編碼器同步之方式進行上下文導出。結果係包括例如預測殘差資料224''之寫碼資料。隨即,反量化及逆變換模組252根據圖7b對此信號進行反量化且對此信號進行逆變換以獲得信號224''',亦即空間域中之殘差信號,且預測模組258及組合器256及任選地迴路內濾波器247'來自藉由信號224'''饋入且對應於編碼器中之迴路的預測迴路,其中組合器256之輸出基於預測殘差信號224'''產生重構信號,以至於如圖21中所示,組合器256之輸出產生重構信號,亦即其視訊211'或當前圖像212'。
編碼器210可根據某一最佳化方案,諸如以最佳化某一速率-失真相關準則,亦即寫碼成本之方式及/或使用某一速率控制,大體上指示為圖1中之編碼器控制213設定一些寫碼參數,包括例如預測模式、運動參數等等。如所描述,編碼器210及解碼器220及對應模組244、258分別支援不同預測模式,諸如框內寫碼模式及框間寫碼模式。如由某一決策模組243決定的編碼器及解碼器在此等預測模式之間切換之精細度可對應於圖像212及212'分別至區塊之細分。應注意,此等區塊中之一些可係僅經框內寫碼之區塊,且一些區塊可係僅經框間寫碼之區塊,且任選地,甚至其他區塊可係使用框內寫碼及框間寫碼二者所獲得之區塊。根據框內寫碼模式,基於各別區塊之空間已寫碼/解碼鄰域而獲得區塊之預測信號。若干框內寫碼子模式可存在選擇,在選擇當中,準表示一種框內預測參數。可存在定向或角度框內寫碼子模式,根據該等子模式,各別區塊之預測信號藉由將鄰域之樣本值沿著特定用於各別定向框內寫碼子模式之某一方向外插至各別區塊中來填充。框內寫碼子模式可例如亦包含:諸如DC寫碼模式之一或多個其他子模式,根據該等子模式,各別區塊之預測信號將DC值指派給各別區塊內之所有樣本;及/或平面框內寫碼模式,根據該模式,各別區塊之預測信號近似或判定為由二維線性函數所描述之樣本值在各別區塊之樣本位置上的空間分佈,其中基於相鄰樣本導出由二維線性函數界定之平面的傾斜及偏移。與其相比較,根據框間預測模式,可例如藉由在時間上預測區塊內部來獲得區塊之預測信號。對於框間預測模式之參數化,可在資料串流內將運動向量進行傳信,該等運動向量指示視訊211之先前經寫碼圖像之部分的空間移位,在該空間位移處對先前經寫碼/經解碼圖像進行取樣以便獲得各別區塊之預測信號。此意謂,除由資料串流14包含的諸如表示經量化譜域預測殘差信號224''之經熵寫碼變換係數位準的殘差信號寫碼外,資料串流14亦可具有編碼於其中的用於指派給區塊預測模式之預測相關參數、用於所指派預測模式之預測參數,諸如用於框間預測模式之運動參數,及任選地使用所指派預測模式及預測參數控制區塊之最終預測信號之組成的其他參數。另外,資料串流可包含分別將圖像212及212'至區塊,諸如變換區塊之細分進行控制及傳信的參數,自該等變換區塊藉由單獨地變換變換區塊而獲得變換係數區塊10。解碼器220使用此等參數以與編碼器相同之方式對圖像進行細分,從而將相同預測模式及參數指派給區塊,且執行相同預測以產生相同預測信號,且對個別變換係數區塊10執行例如逆變換以得到變換區塊中之一者。亦即,可藉由使用當前圖像區塊之空間鄰域中已經重構之樣本之圖像內預測或使用使用已經完全重構圖像之樣本之運動補償預測獲得預測信號。
圖22說明一方面重構信號,亦即重構圖像212'與另一方面如經由資料串流14傳信之預測殘差信號224'''與預測信號226之組合之間的關係。如上文已經標示,該組合可係相加。預測信號226在圖22中說明為將圖像區域細分為具有變化大小之區塊280,但此僅係實例。該細分可係任何細分,諸如圖像區域至區塊列及行之常規細分,或圖像212至具有變化大小之葉區塊的多叉樹細分,諸如四叉樹細分等,其中在圖22中說明該等細分之混合,其中將圖像區域首先細分為樹根區塊之列及行,接著進一步根據遞歸多叉樹細分來細分樹根區塊以產生區塊280。
圖22中之預測殘差信號224'''亦說明為圖像區域分成區塊284之細分。此等區塊可被稱作變換區塊,以便將其與寫碼區塊280區分開。實際上,圖22說明編碼器210及解碼器220可使用圖像212及圖像212'分別細分成區塊之二個不同細分,亦即分成寫碼區塊280之一個細分及分成變換區塊284之另一細分。二種細分可能相同,亦即,每一區塊280可同時形成變換區塊284且反之亦然,但圖22說明如下狀況:其中例如分成變換區塊284之細分形成分成區塊280之細分的延伸,以至於二個區塊280之間的任何邊界與二個區塊284之間的邊界重疊,或替代而言,每一區塊280與變換區塊284中之一者重合抑或與變換區塊284之叢集重合。然而,亦可獨立於彼此判定或選擇細分,以至於變換區塊284可替代地跨越區塊280之間的區塊邊界。就細分為變換區塊284而言,類似陳述因此如同關於細分為區塊280所提出之彼等陳述而成立,亦即,區塊284可係圖像區域分成以列及行配置之區塊之常規細分的結果、圖像區域之遞歸多叉樹細分的結果,或其組合或任何其他類別之分段。順便指出,應注意,區塊280及284不限於正方形、矩形或任何其他形狀。另外,將當前圖像212細分成區塊280 (在該等區塊處形成預測信號)且將當前圖像212細分成區塊284 (在該等區塊處對預測殘差進行寫碼)可能並非用於寫碼/解碼的僅有細分。此等細分形成執行預測信號判定及殘差寫碼之精細度,但首先,殘差寫碼可替代地在無細分的情況下進行,且其次,在不同於此等細分之精細度下,編碼器及解碼器可設定某些寫碼參數,其可包括諸如預測參數等等前述參數中之一些。
圖22說明預測信號226與預測殘差信號224'''之組合直接產生重構信號212'。然而,應注意,根據替代實施例,多於一個預測信號226可與預測殘差信號224'''組合以產生圖像212',諸如自其他視圖或自其他寫碼層獲得之預測信號,其他寫碼層係例如在具有分開DPB之分開的預測迴路中寫碼/解碼。
在圖22中,變換區塊284應具有以下重要性。模組228及模組252以此等變換區塊284為單位而執行其變換。舉例而言,許多編解碼器使用某種DST或DCT以用於所有變換區塊284。一些編解碼器允許跳過變換,以至於對於變換區塊284中之一些,直接在空間域中對預測殘差信號進行寫碼。然而,根據下文描述之實施例,編碼器210及解碼器220經組配使得其支援若干變換。例如,由編碼器210及解碼器220支援之變換可包含: o DCT-II (或DCT-III),其中DCT代表離散餘弦變換 o DST-IV,其中DST代表離散正弦變換 o DCT-IV o DST-VII o 識別碼變換(IT)
自然地,儘管模組228將支援此等變換之所有正向變換版本,但解碼器220或逆變換器252將支援其對應後向或逆變換版本: o 逆DCT-II (或逆DCT-III) o 逆DST-IV o 逆DCT-IV o 逆DST-VII o 識別碼變換(IT)
在此,可在水平及豎直方向上應用不同變換。作為實例,可在水平方向上使用DCT-II且可在豎直方向上使用DST-VII,或反之亦然。
在任何狀況下,應注意,所支援變換之組可僅包含一個變換,諸如一個頻譜-空間或空間-頻譜變換,且除此之外,參考提供進一步註釋及實例之上述描述。
因此,上述描述尤其揭露一種視訊解碼器,其中藉由使用圖像內或圖像間預測預測樣本;自位元串流剖析量化索引;使用相依量化重構變換係數(使用當前及一或多個先前量化索引計算重構變換係數之值);對重構量化係數進行逆變換以用於獲得重構預測誤差樣本之區塊;以及將重構預測誤差樣本與預測信號相加以便獲得視訊樣本之重構區塊而重構樣本之一或多個區塊,該區塊可被稱作圖像區塊且該等樣本可被稱作空間或重構或解碼樣本。在此,變換係數之相依重構可使用二個不同(但不一定不相交)之可容許的重構位準組而實現。可藉由按重構次序基於先前量化索引之值選擇重構位準組中之一者;使用當前變換係數之量化索引(該量化索引指定可容許的重構值之有序集中之整數索引)選擇所選組中之一個重構位準而按界定重構次序重構變換係數。該組可容許的重構值之選擇可按重構次序藉由先前量化索引之同位指定。該組可容許的重構值之選擇可使用具有以下性質之狀態轉變表格(或等效算術運算)實現:在變換區塊之重構過程開始時,將狀態變數設定成等於界定值;該狀態唯一地判定用於下一個變換係數之該組可容許的重構值;使用向上循環成2d表格之表格導出下一個變換係數之狀態,其中第一索引藉由當前狀態給定且第二索引藉由當前量化索引之同位給定。替代地或另外,第一組可容許的重構位準可包含量化步長之所有偶整數倍數;第二組可容許的重構位準可包含量化步長之所有奇整數倍數,且另外,重構位準等於零。在此,量化步長可取決於變換區塊內部變換係數之位置(例如由量化加權矩陣指定)。另外或替代地,量化步長可取決於可逐個區塊地進行修改之量化參數。熵寫碼可包括量化索引之值或絕對值之二進位化且二進位中之一或多者可使用自適應二進位機率模型進行寫碼,其中對於使用自適應機率模型進行寫碼之二進位中之一或多者,所使用機率模型可在一組自適應機率模型當中選擇,且可基於該組可容許的重構位準(或狀態)選擇該機率模型。對於量化索引之二進位化可包含指定量化索引等於零抑或不等於零之二進位,且使用自適應機率模型對該二進位進行寫碼,在一組自適應機率模型當中選擇該自適應機率模型;且可選擇該組可用機率模型當中的子組,從而給定用於當前量化索引(或狀態)之該組可容許的重構位準;且所選子組當中所使用之機率模型可使用當前量化索引之本端鄰域(變換係數陣列)中量化索引之性質來判定。由量化索引之二進位化產生之二進位可跨越變換區塊或變換區塊之子區塊(其表示變換區塊內部變換係數之位置之子組)多次經熵解碼。第一遍經寫碼之二進位可包括以下二進位之任何組合:指定量化索引等於零抑或不等於零之二進位;指定量化索引之絕對值大於一抑或不大於一之二進位;指定量化索引之同位(或量化索引之絕對值之同位)的二進位。
儘管已在設備之上下文中描述一些態樣,但顯然,此等態樣亦表示對應方法之描述,其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地,方法步驟之上下文中所描述的態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備,比如微處理器、可程式化電腦或電子電路執行方法步驟中之一些或全部。在一些實施例中,可由此設備執行最重要之方法步驟中之一或多者。
本發明的經編碼資料串流可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。
取決於某些實施要求,本發明之實施例可在硬體或軟體中實施。可使用上面儲存有與可程式化電腦系統協作(或能夠協作)之電子可讀控制信號,使得執行各別方法之數位儲存媒體(例如,軟碟、DVD、藍光光碟、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行實施。因此,數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體,該等控制信號能夠與可程式化電腦系統協作,使得執行本文中所描述之方法中之一者。
大體而言,本發明之實施例可實施為具有程式碼之電腦程式產品,當電腦程式產品運行於電腦上時,程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上之用於執行本文中所描述之方法中之一者的電腦程式。
換言之,本發明方法之實施例因此為電腦程式,其具有用於在電腦程式運行於電腦上時執行本文中所描述之方法中之一者的程式碼。
因此,本發明方法之另一實施例為資料載體(或數位儲存媒體,或電腦可讀媒體),其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或所記錄媒體通常係有形的及/或非暫時性的。
因此,本發明方法之另一實施例為表示用於執行本文中所描述之方法中之一者的電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通信連接(例如,經由網際網路)而傳送。
另一實施例包含處理構件,例如經組配或調適以執行本文中所描述之方法中之一者的電腦或可程式化邏輯裝置。
另一實施例包含上面安裝有用於執行本文中所描述之方法中之一者的電腦程式之電腦。
根據本發明之另一實施例包含經組配以將用於執行本文中所描述之方法中之一者的電腦程式(例如,電子地或光學地)傳送至接收器的裝置或系統。接收器可例如為電腦、行動裝置、記憶體裝置等。設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中,可程式化邏輯裝置(例如,場可程式化閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中,場可程式化閘陣列可與微處理器協作,以便執行本文中所描述之方法中之一者。通常,該等方法較佳地由任何硬體設備來執行。
本文中所描述之設備可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦的組合來執行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或由軟體來執行。
上述實施例僅說明本發明之原理。應理解,對本文中所描述之配置及細節的修改及變化將對本領域熟習此項技術者顯而易見。因此,意圖為僅受到接下來之申請專利範圍之範疇限制,而不受到藉由本文中之實施例之描述及解釋所呈現的特定細節限制。
參考文獻 [1] ITU-T and ISO|IEC, “Advanced video coding for audiovisual services,” ITU-T Rec. H.264 and ISO|IEC 14406-10 (AVC), 2003. [2] ITU-T and ISO|IEC, “High efficiency video coding,” ITU-T Rec. H.265 and ISO|IEC 23008-10 (HEVC), 2013.
10‧‧‧變換區塊 12、120‧‧‧子區塊 13、13'‧‧‧變換係數 14‧‧‧逆向對角線掃描/寫碼次序/重構次序/位元串流/資料串流 16‧‧‧寫碼次序 30‧‧‧變換解碼器 32、250‧‧‧熵解碼器 34‧‧‧量化級 36‧‧‧合成變換器 40‧‧‧變換編碼器 42、234‧‧‧熵寫碼器 44‧‧‧量化模組 46‧‧‧分析變換 48‧‧‧重構位準組 50‧‧‧集合 52‧‧‧預界定組 54‧‧‧判定 56、58‧‧‧量化索引 60‧‧‧參數化 62‧‧‧反量化 64‧‧‧量化 80、80'‧‧‧映射 82‧‧‧序列 84‧‧‧二進位決策 84a‧‧‧第一二進位 84b‧‧‧第二二進位 84c‧‧‧第三二進位 85、85'‧‧‧熵解碼 86‧‧‧正負號 88‧‧‧絕對值 90‧‧‧一元部分 92‧‧‧固定長度部分/尾碼部分 94、98、100‧‧‧二進位 96‧‧‧尾碼部分 102‧‧‧指數哥倫布程式碼/尾碼部分 103‧‧‧選擇 122‧‧‧本端鄰域 210‧‧‧設備/編碼器 211、211'‧‧‧視訊 212、212'‧‧‧圖像 213‧‧‧編碼器控制 220‧‧‧解碼器 222‧‧‧預測殘差信號形成器 224、224''、224'''‧‧‧預測殘差信號 226‧‧‧預測信號 228‧‧‧模組 238‧‧‧反量化及逆變換級 242、256‧‧‧組合器 243‧‧‧決策模組 244、258‧‧‧預測模組 246‧‧‧重構信號 247、247'‧‧‧迴路內濾波器 248‧‧‧空間預測 249‧‧‧時間預測 252‧‧‧逆變換模組/逆變換器 280、284‧‧‧區塊
可在對量化索引之絕對值進行熵寫碼時考慮所選量化位準組。另外,上下文相依性可包括對於樣本之該序列中之先前樣本,諸如當前樣本之本端鄰域中之樣本之量化位準之相依性。有利態樣為附屬申請專利範圍之主題。下文中關於諸圖描述本申請案之較佳實施例,在圖當中: 圖1展示可體現為根據下文描述之實施例中之任一者而操作的用於圖像編碼器之作為實例之例示性視訊編碼器之方塊圖。 圖2(a)展示變換編碼器之方塊圖;且圖2(b)展示變換解碼器之方塊圖,以說明基於區塊之變換寫碼之基本方法。 圖3展示說明均一重構量化器之分佈之直方圖。 圖4之(a)展示細分為子區塊之變換區塊之示意圖且圖4之(b)展示子區塊之示意圖,以便說明用於掃描變換係數位準,在此為用於H.265|MPEG-H HEVC中之一個例示性變換係數位準之實例;詳言之,圖4之(a)展示16×16變換區塊變為4×4子區塊之分割及子區塊之寫碼次序;圖4之(b)展示4×4子區塊內部變換係數位準之寫碼次序。 圖5展示每一變換係數由一個軸線橫跨之多維輸出空間,及針對二個變換係數之簡單狀況可容許的重構向量之位置之示意圖:圖5之(a)展示非相依純量量化;圖5之(b)展示相依純量量化之實例。 圖6a展示使用相依純量量化之變換解碼器之方塊圖,由此形成根據本申請案之媒體解碼器之一實施例。相對於習知變換寫碼之修改(藉由非相依純量量化器)可藉由與圖2b之比較而導出。 圖6b展示使用相依純量量化之變換編碼器之方塊圖,由此形成根據本申請案之媒體編碼器之一實施例。相對於習知變換寫碼之修改(藉由非相依純量量化器)可藉由與圖2a之比較而導出。 圖7a展示在根據實施例之用於對變換係數進行編碼之編碼器內執行之量化之概念,諸如圖6b之量化級之示意圖。 圖7b展示在根據實施例之用於對變換係數進行解碼之解碼器內執行之反量化之概念,諸如圖6a之反量化級之示意圖。 圖8a、圖8b、圖8c為可用量化組之集合之示意圖,根據先前位準在可用量化組之間進行切換;詳言之,展示藉由完全由單個量化步驟大小Δ判定之二組重構位準進行之相依量化之實例。二個可用重構位準組藉由不同顏色突出顯示(藍色用於組0且紅色用於組1)。一組重構位準內部指示重構位準之量化索引之實例係藉由圓圈下方之數字給定。中空及實心圓指示該等重構位準組內部之二個不同子組;該等子組可用於按重構次序判定用於下一個變換係數之該組重構位準。圖式展示二組重構位準情況下之三個組配:(a)二個組不相交且關於零對稱;(b)二個組包括等於零之重構位準,但原本不相交;該等組不關於零對稱;(c)二個組包括等於零之重構位準,但原本不相交;二個組關於零對稱。 圖9a展示說明變換係數之重構過程之實例之偽碼。k表示指定當前變換係數之重構次序之索引,當前變換係數之量化索引由level[k]表示,適用於當前變換係數之量化步長𝛥 𝑘 由quant_step_size[k]表示,且trec[k]表示經重構變換係數𝑡 ' 𝑘 之值。變數setId[k]指定適用於當前變換係數之重構位準組。按重構次序基於先前變換係數進行判定;setId[k]之可能值為0及1。變數n指定量化步長之整數倍數;其藉由選定重構位準組(亦即,setId[k]之值)及經傳輸量化索引位準[k]給定。 圖9b展示說明圖9a中之偽碼之替代實施方案之偽碼。主要改變為與量化步長之相乘係使用縮放及移位參數使用整數實施方案表示。通常,移位參數(由shift表示)對於變換區塊恆定且僅縮放參數(由scale[k]給定)可取決於變換係數之位置。變數add表示捨入偏移,其通常被設定成等於add =(1>>(shift -1))。在𝛥𝑘 為用於變換係數之標稱量化步長之情況下,參數shift及scale[k]以一方式經選定,使得
Figure 02_image001
。 圖10a展示用於將重構位準組分裂成二個子組之實例之示意圖。所示二個量化組為圖8c之實例之量化組。量化組0之二個子組使用「A」及「B」標註,且量化組1之二個子組使用「C」及「D」標註。 圖10b展示用於基於與最後二個量化索引相關聯之子組判定用於下一個變換係數之量化組(可用重構位準組)之作為實例之表格。該等子組展示於左邊表格行中;其係藉由所使用量化組(針對最後二個量化索引)及所謂的路徑(其可藉由量化索引之同位判定)唯一地判定。量化組及括號內之子組路徑列於第二行中,形成左邊。第三行指定相關聯量化組。在最後一行中,展示所謂的狀態變數之值,其可用於簡化用於判定量化組之過程。 圖10c展示關於如何在可用量化組之間切換之作為另一實例之狀態轉變表格,在此針對具有4個狀態之組配。 圖11展示說明變換區塊之變換係數之重構過程之實例的偽碼。陣列level表示用於變換區塊之經傳輸變換係數位準(量化索引)且陣列trec表示對應經重構變換係數。2d表格state_trans_table指定狀態轉變表格且表格setId指定與狀態相關聯之量化組。 圖12展示狀態轉變表格state_trans_table及指定與狀態相關聯之量化組之表格setId之實例。以C-樣式語法給定之表格表示圖10c之表格中指定之表格。 圖13展示說明變換係數位準之替代重構過程之偽碼,其中自狀態轉變及相依純量量化排除等於0之量化索引。 圖14展示說明作為trellis結構之相依純量量化中之狀態轉變之示意圖。水平軸表示按重構次序之不同變換係數。豎直軸表示相依量化及重構過程中之不同可能狀態。所示連接指定不同變換係數之狀態之間的可用路徑。 圖15展示基本trellis胞元之實例。 圖16展示8個變換係數之相依純量量化之trellis實例之示意圖。第一狀態(左側)表示初始狀態,其在此實例中設定為等於0。 圖17a展示在根據實施例之用於對變換係數進行編碼之編碼器內執行之對量化位準進行熵解碼之概念之示意圖,諸如圖6b中之熵解碼器。 圖17b展示在根據實施例之用於對變換係數進行編碼之編碼器內執行之對量化位準進行熵編碼之概念之示意圖,諸如圖6a中之熵編碼器。 圖18展示用於量化索引之絕對值之二進位化之實例表格。自左至右:(a)一元二進位化;(b)指數哥倫布二進位化;(c)由一元首碼部分(標示為藍色之前二個二進位)及指數哥倫布尾碼部分組成之級聯二進位化;(d)由一元首碼部分(標示為藍色之前二個二進位)、指示路徑/同位之二進位(紅色)及指數哥倫布尾碼部分(用於二個路徑/同位之個別程式碼)組成之級聯二進位化。 圖19展示用於說明變換係數位準之熵寫碼之概念的變換區塊之示意圖:(a)按寫碼次序對第一非零量化索引之位置之傳信(黑色樣本)。除第一非零變換係數之位置之外,僅傳輸標示為藍色之係數之二進位,推斷標示為白色之係數等於0。(b)用於為一或多個二進位選擇機率模型之模板之實例。 圖20展示可用於判定使成本度量(諸如拉格朗日成本度量𝐷+𝜆⋅𝑅)最小化之量化索引之序列(或區塊)的trellis結構之實例的示意圖。trellis結構表示在4個狀態之情況下之相依量化之另一實例(參見圖16)。針對8個變換係數(或量化索引)展示trellis。第一狀態(在最左邊處)表示初始狀態,假定其等於0。 圖21展示可用以根據實施例而操作之解碼器,諸如圖7b中所描繪之解碼器之方塊圖,且配合圖1之編碼器實例。 圖22展示用於相對於預測及殘差寫碼及其間之關係對圖像進行細分之實例之示意圖。
14‧‧‧逆向對角線掃描/寫碼次序/重構次序/位元串流/資料串流
40‧‧‧變換編碼器
42‧‧‧熵寫碼器
44‧‧‧量化模組
46‧‧‧分析變換

Claims (79)

  1. 一種用於自一資料串流對一媒體信號進行解碼之設備,其經組配以藉由以下操作對描述該媒體信號之樣本之一序列進行依序解碼針對一當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之量化索引而自多個重構位準組當中選擇一組重構位準,自該資料串流對用於該當前樣本之一量化索引進行熵解碼,其中該量化索引指示出自針對該當前樣本所選之該組重構位準之一個重構位準,將該當前樣本反量化至所選之該組重構位準中由用於該當前樣本之該量化索引所指示之該一個重構位準上,該媒體信號包含一圖像。
  2. 如請求項1之設備,其中樣本之該序列表示沿著一預定係數掃描進行掃描的一變換係數區塊之變換係數,以至於樣本之該序列之該解碼產生該變換係數區塊,其中該設備經組配以使該變換係數區塊經受一逆變換,以獲得該圖像之一圖像區塊。
  3. 如請求項1之設備,該設備經組配以預測該圖像之一圖像區塊內該圖像之圖像內容,其中樣本之該序列表示該圖像區塊內該圖像之該圖像內容之該 預測之一預測殘差之圖像樣本,以至於樣本之該序列之該解碼產生該預測殘差之該等圖像樣本,其中該設備經組配以將該預測殘差之該等圖像樣本與該圖像區塊內該圖像之該圖像內容之該預測組合,以獲得針對該圖像之重構樣本之一區塊。
  4. 如請求項1之設備,其中該設備經組配以預測該圖像之一圖像區塊內該圖像之圖像內容,其中樣本之該序列係由沿著一預定係數掃描進行掃描的一變換係數區塊之變換係數形成,以至於樣本之該序列之該解碼產生該變換係數區塊,且該設備經組配以使該變換係數區塊經受一逆變換,以獲得殘差樣本之一區塊,及將殘差樣本之該區塊與該圖像區塊內該圖像之該圖像內容之該預測組合,以重構該圖像區塊內之該圖像。
  5. 如請求項4之設備,其經組配以藉由將殘差樣本之該區塊及該圖像區塊內該圖像之該圖像內容之該預測相加而執行該組合。
  6. 如請求項3之設備,其經組配以藉由以下操作執行該圖像區塊內該圖像之該圖像內容之該預測框內預測,或框間預測。
  7. 如請求項6之設備,其中該資料串流包 括指示使用框內預測抑或框間預測之一指示。
  8. 如請求項1之設備,其中該等多個重構位準組中重構位準組之數目為二。
  9. 如請求項1之設備,其經組配以藉助於一預定量化步長對該等多個重構位準組進行參數化且自該資料串流導出關於該預定量化步長之資訊。
  10. 如請求項1之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個圖像區塊,及以在該等圖像區塊當中進行改變之一方式自該資料串流導出關於一預定量化步長之資訊,及藉助於該預定量化步長對該等多個量化位準組進行參數化。
  11. 如請求項1之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個圖像區塊,及藉助於一變換係數區塊之一逆變換而重構該圖像之該等圖像區塊之一子組中之每一者,其中沿著一預定係數掃描進行掃描的一預定變換係數區塊之該等變換係數形成樣本之該序列,及以在變換區塊之子組當中進行改變之一方式自該資料串流導出關於一預定量化步長之資訊,及藉助於該預定量化步長對該等多個量化位準組進行參數化。
  12. 如請求項10之設備,其中該預定量化步長係由適用於一單個圖像區塊或一群圖像區塊之一量化參數界定,且該量化參數係藉由以下操作導出基於相鄰圖像區塊之量化參數預測用於一預定圖像區塊之一量化參數;自該資料串流對該預定圖像區塊或該群圖像區塊之一量化參數差進行熵解碼;將該量化參數差與該量化參數之該預測相加,以獲得該預定圖像區塊或該群圖像區塊之該量化參數。
  13. 如請求項11之設備,其中樣本之該序列為沿著一預定係數掃描進行掃描的一變換係數區塊之變換係數,且該設備經組配以自該資料串流導出用於該變換係數區塊之一基礎量化步長,自該資料串流導出縮放資訊,該縮放資訊界定關於如何縮放該基礎量化步長,以便獲得用於該變換係數區塊之該等變換係數之量化步長,以至於該等量化步長跨越該變換係數區塊內部之數個變換係數位置而改變,藉助於藉由根據該縮放資訊縮放該基礎量化步長所獲得之一預定量化步長對該等多個量化位準組進行參數化。
  14. 如請求項8之設備,其中用於該當前樣本之該等多個重構位準組中之每一者係由一預定量化步長之整數倍數組成,其中該量化步長對於用於該當前樣本之該等多個重構位準組中之所有重構位準組均相同。
  15. 如請求項1之設備,其經組配以藉由以下操作使用二進位算術解碼而自該資料串流對用於該當前樣本之該量化索引之一絕對值進行解碼使用一第二自適應機率模型對該一字串中之一第二二進位進行熵解碼,該絕對值被二進位化至該字串上,該第二二進位指定該絕對值是否大於一,其中該機率模型係在一組自適應機率模型當中選擇且該選擇取決於針對該當前樣本所選之該組重構位準或該當前樣本之該狀態。
  16. 如請求項15之設備,其經組配以至於該第二自適應機率模型之該選擇進一步取決於樣本之該序列中之一緊接先前樣本之一同位。
  17. 如請求項1之設備,其經組配以藉由使用相互樣本非相依純量反量化對描述該媒體信號之樣本之一另一序列進行依序解碼。
  18. 如請求項1之設備,其中該媒體信號為圖像之一視訊序列,且樣本之該序列中之該等樣本為表示變換區塊中之一預定變換區塊之一變換的一變換係數區塊之變換係數,數個視訊圖像被分割成該等變換區塊,其中該設備在藉由使用相互樣本非相依純量反量化對該等變換區塊進行解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行解碼之間切換,如針對該預定變換區塊所應用。
  19. 如請求項18之設備,其經組配以取決 於該資料串流中所傳信且跨越該圖像或在該視訊序列之圖像之間改變之一或多個寫碼參數而執行在藉由使用相互樣本非相依純量反量化對該等變換區塊進行該解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行該解碼之間的該切換。
  20. 如請求項18之設備,其經組配以自該資料串流中之顯式傳信而導出在藉由使用相互樣本非相依純量反量化對該等變換區塊進行該解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行該解碼之間的該切換。
  21. 一種用於自一資料串流對一媒體信號進行解碼之方法,其包含藉由以下操作對描述該媒體信號之樣本之一序列進行依序解碼針對一當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之量化索引而自多個重構位準組當中選擇一組重構位準,自該資料串流對用於該當前樣本之一量化索引進行熵解碼,其中該量化索引指示出自針對該當前樣本所選之該組重構位準之一個重構位準,將該當前樣本反量化至所選之該組重構位準中由用於該當前樣本之該量化索引所指示之該一個重構位準上,該媒體信號包含一圖像。
  22. 一種用於將一媒體信號編碼成一資料串流之設備,其經組配以藉由以下操作對描述該媒體信號之樣本之一序列進行依序編碼針對一當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之量化索引而自多個重構位準組當中選擇一組重構位準,將該當前樣本量化至該組重構位準中之一個重構位準上,及將指示出自針對該當前樣本所選之該組重構位準之該一個重構位準之一量化索引編碼至該資料串流中,其中該媒體信號包含一圖像。
  23. 如請求項22之設備,其中該設備經組配以變換該圖像之一圖像區塊,以獲得一變換係數區塊,其中沿著一預定係數掃描進行掃描的該變換係數區塊之數個預定變換係數表示樣本之該序列。
  24. 如請求項22之設備,其中該設備經組配以預測該圖像之一圖像區塊內該圖像之圖像內容,其中樣本之該序列表示該圖像區塊內該圖像之該圖像內容之該預測之一預測殘差之圖像樣本,以至於樣本之該序列之一解碼產生該預測殘差之該等圖像樣本,且將該預測殘差之 該等圖像樣本與該圖像區塊內該圖像之該圖像內容之該預測組合產生該圖像之重構樣本之一區塊。
  25. 如請求項22之設備,其中該設備經組配以預測該圖像之一圖像區塊內該圖像之該圖像內容,其中樣本之該序列係由沿著一預定係數掃描進行掃描的一變換係數區塊之數個變換係數形成,以至於樣本之該序列之該解碼產生該變換係數區塊,且該設備經組配以判定該變換係數區塊,以至於使該變換係數區塊經受一逆變換產生殘差樣本之一區塊,且將殘差樣本之該區塊與該圖像區塊內該圖像之該圖像內容之該預測組合產生該圖像區塊內之該圖像之一重構。
  26. 如請求項25之設備,其中該組合涉及將殘差樣本之該區塊及該圖像區塊內該圖像之該圖像內容之該預測相加。
  27. 如請求項24之設備,其經組配以藉由以下操作執行該圖像區塊內該圖像之該圖像內容之該預測框內預測,或框間預測。
  28. 如請求項27之設備,其經組配以向該資料串流提供指示使用框內預測抑或框間預測之一指示。
  29. 如請求項22之設備,其中該等多個重構位準組中重構位準組之數目為二。
  30. 如請求項22之設備,其經組配以藉助於一預定量化步長對該等多個重構位準組進行參數化且將關於該預定量化步長之資訊插入至該資料串流中。
  31. 如請求項22之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個圖像區塊,及以在該等圖像區塊當中進行改變之一方式將關於一預定量化步長之資訊插入至該資料串流中,及藉助於該預定量化步長對該等多個量化位準組進行參數化。
  32. 如請求項22之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個圖像區塊,及針對該圖像之該等圖像區塊之一子組中之每一者判定一變換係數區塊,其中沿著一預定係數掃描進行掃描的一預定變換係數區塊之該等變換係數形成樣本之該序列,且針對該圖像之該等圖像區塊之一子組中之每一者判定該變換係數區塊,使得可藉助於該變換係數區塊之一逆變換而重構樣本之該序列,以在變換區塊之子組當中進行改變之一方式將關於一預定量化步長之資訊插入至該資料串流中,及藉助於該預定量化步長對該等多個量化位準組進行參數化。
  33. 如請求項31之設備,其中該預定量化步長由適用於一單個圖像區塊或一群圖像區塊之一量化參數界定,且該量化參數係藉由以下操作進行編碼基於相鄰圖像區塊之量化參數來預測用於一預定圖像區塊之一量化參數;將該預定圖像區塊或該群圖像區塊之一量化參數差熵編碼至該資料串流中;其中將該量化參數差與該量化參數之該預測相加產生該預定圖像區塊或該群圖像區塊之該量化參數。
  34. 如請求項32之設備,其中樣本之該序列為沿著一預定係數掃描進行掃描的一變換係數區塊之數個變換係數,且該設備經組配以將用於該變換係數區塊之一基礎量化步長插入至該資料串流中,將縮放資訊插入至該資料串流中,該縮放資訊界定關於如何縮放該基礎量化步長,以便獲得用於該變換係數區塊之該等變換係數之量化步長,以至於該等量化步長跨越該變換係數區塊內部之數個變換係數位置而改變,其中藉助於藉由根據該縮放資訊縮放該基礎量化步長所獲得之一預定量化步長而對該等多個量化位準組進行參數化。
  35. 如請求項29之設備,其中用於該當前樣本之該等多個重構位準組中之每一者由一預定量化步長之整數倍數組成,其中該量化步長對於用於該當前樣本之 該等多個重構位準組中之所有重構位準組均相同。
  36. 如請求項22之設備,其經組配以藉由以下操作使用二進位算術編碼將用於該當前樣本之該量化索引之一絕對值編碼至該資料串流中使用一第二自適應機率模型對該一字串中之一第二二進位進行熵編碼,該絕對值被二進位化至該字串上,該第二二進位指定該絕對值是否大於一,其中該機率模型係在一組自適應機率模型當中選擇且該選擇取決於針對該當前樣本所選之該組量化值或該當前樣本之該狀態。
  37. 如請求項36之設備,其經組配以至於該第二自適應機率模型之該選擇進一步取決於樣本之該序列中之一緊接先前樣本之一同位。
  38. 如請求項22之設備,其中該媒體信號為圖像之一視訊序列,且樣本之該序列中之該等樣本為表示數個變換區塊中之一預定變換區塊之一變換的一變換係數區塊之數個變換係數,該等視訊圖像被分割成該等變換區塊,其中該設備在藉由使用相互樣本非相依純量量化對該等變換區塊進行編碼與藉由使用相互樣本相依純量量化對該等變換區塊進行編碼之間切換,如針對該預定變換區塊所應用。
  39. 如請求項38之設備,其經組配以取決於該資料串流中所傳信且跨越該圖像或在該視訊序列之圖像之間改變之一或多個寫碼參數而執行在藉由使用相互樣 本非相依純量量化對該等變換區塊進行該編碼與藉由使用相互樣本相依純量量化對該等變換區塊進行該編碼之間的該切換。
  40. 如請求項38或39之設備,其經組配以藉助於該資料串流中之顯式傳信將在藉由使用相互樣本非相依純量量化對該等變換區塊進行該編碼與藉由使用相互樣本相依純量量化對該等變換區塊進行該編碼之間的該切換進行傳信。
  41. 一種用於將一媒體信號編碼成一資料串流之方法,其包含藉由以下操作對描述該媒體信號之樣本之一序列進行依序編碼針對一當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之量化索引而自多個重構位準組當中選擇一組重構位準,將該當前樣本量化至該組重構位準中之一個重構位準上,及將指示出自針對該當前樣本所選之該組重構位準之該一個重構位準之一量化索引編碼至該資料串流中,其中該媒體信號包含一圖像。
  42. 一種用於自一資料串流對一媒體信號進行解碼之設備,其經組配以藉由以下操作對描述該媒體信號之樣本之一序列進行 依序解碼針對一當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之數個量化索引而自多個重構位準組當中選擇一組重構位準,自該資料串流對用於該當前樣本之一量化索引進行解碼,將該當前樣本反量化至該組重構位準中之一個位準上,其中該媒體信號包含一圖像。
  43. 如請求項42之設備,其中該媒體信號包含一圖像,且樣本之該序列係由沿著一預定係數掃描進行掃描的一變換係數區塊之數個變換係數形成,其中該設備經組配以使該變換係數區塊經受一逆變換,以獲得該圖像之一變換區塊。
  44. 如請求項43之設備,其經組配以預測該變換區塊內該圖像之一圖像內容,其中該變換區塊表示該變換區塊內該圖像之該圖像內容之該預測之一預測殘差。
  45. 如請求項42之設備,其經組配以針對該當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之該等量化索引之一LSB部分而自該等多個量化位準組當中選擇該組量化位準。
  46. 如請求項42之設備,其中該等多個量 化位準組中量化位準組之數目為二。
  47. 如請求項42之設備,其中該設備經組配以針對該當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之該等量化索引之一同位而自該等多個量化位準組當中選擇該組量化位準。
  48. 如請求項42之設備,其中其經組配以針對該當前樣本使用一選擇規則自該等多個量化位準組當中選擇該組量化位準且將該選擇規則用於樣本之該序列中之所有樣本或一部分樣本,該選擇規則取決於針對樣本之該序列中之多個緊接先前樣本自該資料串流解碼之該等量化索引。
  49. 如請求項48之設備,其中該選擇規則所取決的樣本之該序列中之緊接先前樣本之該數目為二。
  50. 如請求項48之設備,其中該選擇規則係經由一狀態轉變過程實現,其方式使得與該當前樣本相關聯之一狀態唯一地判定用於該當前樣本之該組量化位準且取決於樣本之該序列中之一緊接先前樣本之該狀態及針對樣本之該序列中之該緊接先前樣本自該資料串流解碼之一量化索引。
  51. 如請求項50之設備,其中樣本之該序列中之第一一按樣本之該序列之一次序一樣本之一狀態設定成等於一預界定值。
  52. 如請求項48之設備,其中該選擇規則 取決於針對樣本之該序列中之一緊接先前樣本自該資料串流解碼之該量化索引及針對樣本之該序列中之該緊接先前樣本所選之一組量化位準。
  53. 如請求項42之設備,其經組配以藉助於一預定量化步長對該等多個量化位準組進行參數化且自該資料串流導出關於該預定量化步長之資訊。
  54. 如請求項42之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個變換區塊,及藉助於一變換係數區塊之一逆變換導出該圖像之該等變換區塊之一子組中之每一者,其中沿著一預定係數掃描進行掃描的一預定變換係數區塊之該等變換係數形成樣本之該序列,及以在變換區塊之子組當中進行改變之一方式自該資料串流導出關於一預定量化步長之資訊,及藉助於該預定量化步長對該等多個量化位準組進行參數化。
  55. 如請求項42之設備,其中該等多個量化位準組中之每一者由對於該等多個量化位準組而言為恆定的一預定量化步長之倍數組成。
  56. 如請求項42之設備,其中樣本之該序列中之該等樣本為表示數個變換區塊中之一預定變換區塊之一變換的一變換係數區塊之數個變換係數,該圖像被分割成該等變換區塊,其中該設備在藉由使用相互樣本非相 依純量反量化對該等變換區塊進行解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行解碼之間切換,如針對該預定變換區塊所應用。
  57. 如請求項56之設備,其經組配以取決於該資料串流中所傳信且跨越該圖像改變之一或多個寫碼參數而執行在藉由使用相互樣本非相依純量反量化對該等變換區塊進行該解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行該解碼之間的該切換。
  58. 如請求項56之設備,其經組配以自該資料串流中之顯式傳信導出藉由使用相互樣本非相依純量反量化對該等變換區塊進行該解碼與藉由使用相互樣本相依純量反量化對該等變換區塊進行該解碼之間的該切換。
  59. 一種用於自一資料串流對一媒體信號進行解碼之方法,其包含藉由以下操作對描述該媒體信號之樣本之一序列進行依序解碼針對一當前樣本取決於針對樣本之該序列中之先前樣本自該資料串流解碼之數個索引而自多個量化位準組當中選擇一組量化位準,自該資料串流對用於該當前樣本之一量化索引進行解碼,將該當前樣本反量化至該組量化位準中之該一個位準上,其中該媒體信號包含一圖像。
  60. 一種用於將一媒體信號編碼成一資料串流之設備,其經組配以藉由以下操作對描述該媒體信號之樣本之一序列進行依序編碼針對一當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之數個量化索引而自多個量化位準組當中選擇一組量化位準,將該當前樣本量化至該組量化位準中之一個位準上,及將針對用於該當前樣本之該一個位準之一量化索引編碼至該資料串流中,其中該媒體信號包含一圖像。
  61. 如請求項60之設備,其中該設備經組配以變換該圖像之一變換區塊,以獲得一變換係數區塊,其中沿著一預定係數掃描進行掃描的該變換係數區塊之數個預定變換係數形成樣本之該序列。
  62. 如請求項61之設備,其經組配以預測該變換區塊內該圖像之一圖像內容,其中該變換區塊表示該變換區塊內該圖像之該圖像內容之該預測之一預測殘差。
  63. 如請求項60之設備,其經組配以針對該當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之該等量化索引之一LSB部分 而自該等多個量化位準組當中選擇該組量化位準。
  64. 如請求項60之設備,其中該等多個量化位準組中量化位準組之數目為二。
  65. 如請求項60之設備,其中該設備經組配以針對該當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之該等量化索引之一同位而自該等多個量化位準組當中選擇該組量化位準。
  66. 如請求項60之設備,其中其經組配以針對該當前樣本使用一選擇規則自該等多個量化位準組當中選擇該組量化位準且將該選擇規則用於樣本之該序列中之所有樣本或一部分樣本,該選擇規則取決於針對樣本之該序列中之多個緊接先前樣本經編碼至該資料串流中之該等量化索引。
  67. 如請求項66之設備,其中該選擇規則所取決的樣本之該序列中之緊接先前樣本之該數目為二。
  68. 如請求項66之設備,其中該選擇規則係經由一狀態轉變過程實現,其方式使得與該當前樣本相關聯之一狀態唯一地判定待用於該當前樣本之該組量化位準且取決於樣本之該序列中之一緊接先前樣本之一狀態及針對樣本之該序列中之該緊接先前樣本經編碼至該資料串流中之該量化索引。
  69. 如請求項68之設備,其中樣本之該序列中之一第一-按該序列之一次序-樣本之一狀態係設定 成等於一預界定值。
  70. 如請求項66之設備,其中該選擇規則取決於針對樣本之該序列中之一緊接先前樣本經編碼至該資料串流中之該量化索引及針對樣本之該序列中之該緊接先前樣本所選之一組量化位準。
  71. 如請求項60之設備,其經組配以藉助於一預定量化步長對該等多個量化位準組進行參數化且在該資料串流中將關於該預定量化步長之資訊進行傳信。
  72. 如請求項60之設備,其中該媒體信號包含一圖像,且該設備經組配以將該圖像分割成數個變換區塊,及變換該圖像之該等變換區塊之一子組中之每一者,以獲得一變換係數區塊,其中沿著一預定係數掃描進行掃描的一預定變換係數區塊之預定變換係數形成樣本之該序列,及藉助於一預定量化步長對該等多個量化位準組進行參數化且以在變換區塊之子組當中進行改變之一方式在該資料串流中將關於該預定量化步長之資訊進行傳信。
  73. 如請求項60之設備,其中該等多個量化位準組中之每一者由對於該等多個量化位準組而言為恆定的一預定量化步長之倍數組成。
  74. 如請求項60之設備,其中該媒體信號為一圖像,且樣本之該序列中之該等樣本為表示數個變換 區塊中之一預定變換區塊之一變換的一變換係數區塊之數個變換係數,該圖像被分割成該等變換區塊,其中該設備在藉由使用相互樣本非相依純量量化對該等變換區塊進行寫碼與藉由使用相互樣本相依純量量化對該等變換區塊進行寫碼之間切換,如針對該預定變換區塊所應用。
  75. 如請求項74之設備,其經組配以取決於該資料串流中所傳信且跨越該圖像改變之一或多個寫碼參數而執行在藉由使用相互樣本非相依純量量化對該等變換區塊進行該寫碼與藉由使用相互樣本相依純量量化對該等變換區塊進行該寫碼之間的該切換。
  76. 如請求項74之設備,其經組配以藉由顯式傳信將在藉由使用相互樣本非相依純量量化對該等變換區塊進行該寫碼與藉由使用相互樣本相依純量量化對該等變換區塊進行該寫碼之間的該切換進行傳信。
  77. 一種用於將一媒體信號編碼成一資料串流之方法,其包含藉由以下操作對描述該媒體信號之樣本之一序列進行依序編碼針對一當前樣本取決於針對樣本之該序列中之先前樣本經編碼至該資料串流中之量化索引而自多個量化位準組當中選擇一組量化位準,將該當前樣本量化至該組量化位準中之一個位準上,及將針對用於該當前樣本之該一個位準之一量化 索引編碼至該資料串流中,其中該媒體信號包含一圖像。
  78. 一種電腦程式,其具有用於在一電腦上運行時執行一如請求項59、41、77或21之方法的一程式碼。
  79. 一種數位儲存媒體,其儲存使用一如請求項41或77之方法產生之一資料串流。
TW108111034A 2018-03-29 2019-03-28 相依量化技術 TWI754803B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18165210.8 2018-03-29
EP18165210 2018-03-29

Publications (2)

Publication Number Publication Date
TW202005376A TW202005376A (zh) 2020-01-16
TWI754803B true TWI754803B (zh) 2022-02-11

Family

ID=61868344

Family Applications (2)

Application Number Title Priority Date Filing Date
TW111100236A TWI813126B (zh) 2018-03-29 2019-03-28 相依量化技術
TW108111034A TWI754803B (zh) 2018-03-29 2019-03-28 相依量化技術

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW111100236A TWI813126B (zh) 2018-03-29 2019-03-28 相依量化技術

Country Status (7)

Country Link
US (2) US11533486B2 (zh)
EP (1) EP3777153A1 (zh)
JP (2) JP7219284B2 (zh)
KR (2) KR20230085229A (zh)
CN (2) CN112236999B (zh)
TW (2) TWI813126B (zh)
WO (1) WO2019185769A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3562156A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for adaptive context modeling in video encoding and decoding
FR3081656A1 (fr) 2018-06-27 2019-11-29 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image.
WO2020156515A1 (en) * 2019-01-31 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Refined quantization steps in video coding
JP2023507502A (ja) * 2019-12-20 2023-02-22 フラウンホッファー-ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ ニューラルネットワークのパラメータを符号化するための概念
JP7439264B2 (ja) * 2019-12-20 2024-02-27 フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 変換係数レベルの適応依存量子化をサポートするためのデコーダ、エンコーダ及び方法
WO2021158047A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 Tsrc 가용 플래그를 포함한 영상 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2021158048A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 Tsrc 가용 플래그의 시그널링 관련 영상 디코딩 방법 및 그 장치
WO2021158049A1 (ko) * 2020-02-05 2021-08-12 엘지전자 주식회사 영상 정보 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2021159081A1 (en) * 2020-02-07 2021-08-12 Beijing Dajia Internet Informationtechnology Co., Ltd. Lossless coding modes for video coding
WO2021172910A1 (ko) * 2020-02-25 2021-09-02 엘지전자 주식회사 레지듀얼 코딩과 관련한 영상 디코딩 방법 및 그 장치
CN113453002B (zh) * 2020-03-25 2022-08-09 浙江大学 量化与熵编码方法及装置
CN116982262A (zh) * 2021-02-19 2023-10-31 创峰科技 视频编码中依赖性量化的状态转换
WO2022174477A1 (zh) * 2021-02-22 2022-08-25 浙江大学 一种编码方法、解码方法、编码器、解码器以及存储介质
WO2022192902A1 (en) * 2021-03-11 2022-09-15 Innopeak Technology, Inc. Remaining level binarization for video coding
US11818343B2 (en) * 2021-03-12 2023-11-14 Tencent America LLC Sample offset with predefined filters
WO2022193390A1 (zh) * 2021-03-13 2022-09-22 Oppo广东移动通信有限公司 视频编解码方法与系统、及视频编解码器
WO2022193389A1 (zh) * 2021-03-17 2022-09-22 Oppo广东移动通信有限公司 视频编解码方法与系统、及视频编解码器
EP4354861A1 (en) * 2021-06-11 2024-04-17 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Video decoding and coding method, device and storage medium
CN117426089A (zh) * 2021-07-27 2024-01-19 Oppo广东移动通信有限公司 一种视频解码、编码方法及设备、存储介质
WO2023026065A1 (en) * 2021-08-27 2023-03-02 Blackbird Plc Methods of encrypting a multimedia file, methods of decrypting an encrypted multimedia file; computer program products and apparatus
US20230179764A1 (en) * 2021-12-06 2023-06-08 Tencent America LLC Arrangement of adaptive loop filter coefficients for fast vectorized transpositions
WO2024008060A1 (en) * 2022-07-05 2024-01-11 Mediatek Inc. Method and apparatus of dependent quantization for video coding
WO2024018166A1 (en) * 2022-07-22 2024-01-25 Blackbird Plc Computer-implemented methods of blurring a digital image; computer terminals and computer program products

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9749633B2 (en) * 2012-01-19 2017-08-29 Vid Scale, Inc. System and method of video coding quantization and dynamic range control
CN104380737B (zh) 2012-06-22 2018-10-26 夏普株式会社 算术解码装置
US9930363B2 (en) * 2013-04-12 2018-03-27 Nokia Technologies Oy Harmonized inter-view and view synthesis prediction for 3D video coding
US9294766B2 (en) * 2013-09-09 2016-03-22 Apple Inc. Chroma quantization in video coding
EP2980793A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder, system and methods for encoding and decoding
US9628803B2 (en) * 2014-11-25 2017-04-18 Blackberry Limited Perceptual image and video coding
EP3254463A4 (en) * 2015-02-06 2018-02-21 Microsoft Technology Licensing, LLC Skipping evaluation stages during media encoding
US10574993B2 (en) 2015-05-29 2020-02-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
EP3466077A4 (en) * 2016-05-23 2020-07-22 Kakadu R & D Pty Ltd IMAGE COMPRESSION PROCESS AND APPARATUS
US10587875B2 (en) * 2017-03-01 2020-03-10 Intel Corporation Coding tools for subjective quality improvements in video codecs

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
J. H. Kasner, M. W. Marcellin and B. R. Hunt, "Universal trellis coded quantization," in IEEE Transactions on Image Processing, vol. 8, no. 12, pp. 1677-1687, Dec. 1999, doi: 10.1109/83.806615; *
MADHUKAR BUDAGAVI ET AL: "HEVC Transform and Quantization", 26 June 2014, HIGH EFFICIENCY VIDEO CODING (H, SPRINGER INTERNATIONAL PUBLISHING, ISBN: 978-3-319-06894-7 *
R. L. Joshi, T. R. Fischer, M. W. Marcellin and J. H. Kasner, "Arithmetic and trellis coded quantization," Proceedings of 1994 IEEE International Symposium on Information Theory, Trondheim, Norway, 1994, pp. 233-, doi: 10.1109/ISIT.1994.394735; *

Also Published As

Publication number Publication date
CN115967800A (zh) 2023-04-14
JP2021519544A (ja) 2021-08-10
CN112236999A (zh) 2021-01-15
US20210084304A1 (en) 2021-03-18
KR102543505B1 (ko) 2023-06-14
KR20210003125A (ko) 2021-01-11
KR20230085229A (ko) 2023-06-13
EP3777153A1 (en) 2021-02-17
US20230075174A1 (en) 2023-03-09
US11533486B2 (en) 2022-12-20
CN112236999B (zh) 2022-12-13
TW202243477A (zh) 2022-11-01
TWI813126B (zh) 2023-08-21
JP7219284B2 (ja) 2023-02-07
TW202005376A (zh) 2020-01-16
JP2023052667A (ja) 2023-04-11
WO2019185769A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
TWI754803B (zh) 相依量化技術
CN112640457B (zh) 使用阈值和莱斯参数的用于系数编译码的常规编译码二进制数缩减
KR102533654B1 (ko) 종속 스칼라 양자화에 적합한 변환 계수의 엔트로피 코딩
KR102613155B1 (ko) 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에적합한 변환 계수의 효율적인 코딩
CN112534815B (zh) 用于对视频数据进行编解码的方法和设备
KR20210096114A (ko) 임계치 및 라이스 파라미터를 이용한 계수 디코딩을 위한 정규 코딩된 빈 감축
CN115152215A (zh) 支持变换系数级别的适应性相依量化的解码器、编码器及方法
KR102661759B1 (ko) 종속 스칼라 양자화를 사용하거나 이와 조합하는 데에 적합한 변환 계수의 효율적인 코딩