TWI729579B - 以區塊為基礎之圖像預測式編碼和解碼技術 - Google Patents

以區塊為基礎之圖像預測式編碼和解碼技術 Download PDF

Info

Publication number
TWI729579B
TWI729579B TW108142331A TW108142331A TWI729579B TW I729579 B TWI729579 B TW I729579B TW 108142331 A TW108142331 A TW 108142331A TW 108142331 A TW108142331 A TW 108142331A TW I729579 B TWI729579 B TW I729579B
Authority
TW
Taiwan
Prior art keywords
signal
prediction
data stream
block
prediction signal
Prior art date
Application number
TW108142331A
Other languages
English (en)
Other versions
TW202037171A (zh
Inventor
強納森 帕雅夫
馬汀 文肯
克里斯汀 路達特
希克 史瓦茲
湯瑪士 威剛德
迪特利夫 馬皮
Original Assignee
弗勞恩霍夫爾協會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 弗勞恩霍夫爾協會 filed Critical 弗勞恩霍夫爾協會
Publication of TW202037171A publication Critical patent/TW202037171A/zh
Application granted granted Critical
Publication of TWI729579B publication Critical patent/TWI729579B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

利用待預測之一預定區塊之一鄰域的一先前經編碼或重建版本，從而產生該預測區塊之一更高效的預測式寫碼。詳言之，對由此鄰域及該預定區塊之一預測填充的一第一版本組成之一區域的一頻譜分解產生一第一頻譜，該第一頻譜經受雜訊消減，且因此所得之第二頻譜可經受一頻譜組合，由此產生此區域之一經修改版本，該經修改版本包括該預定區塊之該預測填充的一第二版本。由於利用該預定區塊之該已處理、亦即經編碼/重建之鄰域，該預定區塊之該預測填充的該第二版本往往會改良寫碼效率。

Description

以區塊為基礎之圖像預測式編碼和解碼技術
發明領域
舉例而言，本申請案係關於以區塊為基礎之圖像預測式寫碼和解碼，諸如混合式視訊編碼解碼中可適用。
發明背景
現如今，許多視訊編碼解碼及靜態圖像編碼解碼使用以區塊為基礎之預測式寫碼將用以表示圖像內容之資料壓縮。預測愈好，寫碼預測殘餘所需的的資料愈少。使用預測之總體收益取決於保持預測在編碼器與解碼器之間同步所需的資料量，亦即預測參數化所需的資料。
發明概要
本發明之目的為提供關於以區塊為基礎之圖像預測式編碼/解碼的概念，其能夠達成經改良之寫碼效率。
此目標係藉由本申請案之獨立請求項之標的達成。
本申請案之基本研究結果係可利用待預測之預定區塊的鄰域之先前經編碼或重建版本，從而導致對 預測區塊之更高效預測式寫碼。詳言之，對由此鄰域及預定區塊之預測填充的第一版本組成之區域的頻譜分解產生第一頻譜，該第一頻譜經受雜訊消減，且因此所得第二頻譜可經受頻譜組合，由此產生此區域之經修改版本，該經修改版本包括預定區塊之預測填充的第二版本。由於利用預定區塊之已處理、亦即經編碼/重建之鄰域，預定區塊之預測填充的第二版本往往會改良寫碼效率。
根據本申請案之實施例，第一信號通知可用於資料串流中，從而在使用預測填充之第一版本與使用預測填充之第二版本之間做出選擇。儘管此第一信號通知需要額外資料量，但能夠在預測填充之第一版本與第二版本之間做出選擇可改良寫碼效率。第一信號通知可以子圖像粒度在資料串流內傳輸，使得對第一版本與第二版本之選擇可以子圖像粒度進行。
同樣，另外或替代地，根據本申請案之另一實施例，第二信號通知可用於資料串流中，第二信號通知用以設定用以擴展預定區塊且形成區域的鄰域之尺寸，相對於該區域執行頻譜分解、雜訊消減及頻譜組合。第二信號通知亦可以子圖像粒度以變化方式在資料串流內傳輸。
甚至進一步，另外或替代地，一另外信號通知可在資料串流內傳輸，第三信號通知傳訊雜訊消減之強度，諸如藉由指示待應用於由頻譜分解產生之第一頻譜的臨限值。第三信號通知亦可以子圖像粒度以變化方式在資料串流內傳輸。
亦即使用關於取決於區域之空間鄰域之可能信號通知值的機率分佈估計，可使用以下各項將第一、第二及/或第三信號通知寫碼在資料串流中：空間預測及/或使用空間上下文之熵寫碼，關於該區域之各別信號通知係含於資料串流中。
10:設備/編碼器
12:圖像
14:資料串流
16:預測提供器
18:頻譜分解器
20:雜訊消減器
22:頻譜組合器
24:編碼級
26:加法器/減法器
28:變換器
30:量化級/量化器
32:熵編碼器
34:重建級/重建器
36:反量化器
38:反變換器
40:加法器
42:選擇器/可選信號
44:時間序列
46:預測區塊
461、462、463、464:側邊
48:參考圖像/第一版本
50:樣本
52:區域
54:鄰域
56:重建版本
58:寫碼/解碼次序
60:第一頻譜
62:第二或雜訊經消減頻譜
64:第二版本
70、72、78:信號通知
74、76:角
80:集合
100:解碼器/設備
102:預測參數/寫碼參數
132:熵寫碼器/熵解碼器
T1、T2:變換
κ:臨限值
Q:量化參數
x:水平軸
本申請案之有利實施為附屬請求項之標的。本申請案之較佳實施例將在下文關於圖式描述，在該等圖式中：圖1展示根據本申請案之一實施例之編碼設備的方塊圖；圖2根據一實施例展示說明含有待預測之區塊之圖像的示意圖，在當前待預測的區塊之右側，說明了如何擴展區塊從而產生一區域，該區域接著作為用於獲得此區塊之預測填充之替代版本的開始點；圖3根據一實施例展示說明雜訊消減的示意圖，詳言之，說明了使用臨限值執行此雜訊消減之兩種替代方式；圖4根據一實施例展示說明對可能雜訊消減強度之選擇的示意圖；以及圖5根據一實施例展示適合圖1之設備之解碼設備的方塊圖。
較佳實施例之詳細說明
圖1展示用於圖像12至資料串流14的以區塊為基礎 之預測式編碼的設備10。圖1之設備包含預測提供器16、頻譜分解器18、雜訊消減器20、頻譜組合器22以及編碼級24。以在下文更詳細地概述之方式，此等組件16至24按其被提及之次序串聯連接至編碼器10之預測迴路中。出於說明目的，圖1指示：在內部，編碼級24可包含加法器26、變換器28以及量化級30，該等組件按其被提及之次序串聯連接在前述預測迴路中。詳言之，加法器26之反相輸入端直接地或間接地經由如下文進一步概述之選擇器連接至頻譜組合器22之輸出端，而加法器26之非反相輸入端接收待編碼之信號，亦即圖像12。如圖1中進一步指示，編碼級24可進一步包含連接於量化器30的輸出端與設備10的輸出端之間的熵編碼器32，表示圖像12之經寫碼資料串流14係在設備之輸出端處輸出。如圖1中進一步說明，設備10可包含沿著前述預測迴路連接於編碼級24與預測提供器16之間的重建級34，該重建級將先前經編碼部分提供至預測提供器16，該等先前經編碼部分亦即先前已由編碼器10編碼的圖像12之部分或圖像12所屬之視訊，且詳言之，此等部分的一版本，即使考慮到由量化級30內之量化引入的寫碼損耗，該版本亦可在解碼器側重建。如圖1中所說明，重建級34可包含反量化器36、反變換器38以及加法器40，該等組件按其被提及之次序串聯連接至前述預測迴路中，其中反量化器之輸入端連接至量化器之輸出端。詳言之，當前除如下文更詳細地概述的連接至預測提供器16之輸出端的頻譜分解器18 之輸入端以外，加法器40之輸出端亦連接至預測提供器16的輸入端且另外連接至頻譜分解器18的另一輸入端。當加法器40之第一輸入端連接至反變換器38的輸出端時，加法器40之另一輸入端經由頻譜組合器22的輸出端直接地或視情況間接地接收最終預測信號。如圖1中所描繪，視情況，編碼器10包含選擇器42，其經組配以在將由頻譜組合器22輸出之預測信號施加至加法器40的各別輸入端或施加至預測提供器16的輸出端之間做出選擇。
在解釋了編碼器10的內部結構之後，應注意，可以軟體、韌體或硬體或其任何組合來達成編碼器10之實施。圖1中所示之任何區塊或模組可相應地對應於在電腦執行之電腦程式的特定部分、諸如場可規劃陣列之韌體的特定部分或諸如特殊應用IC之電子電路的特定部分。
圖1之設備10經組配以使用以區塊為基礎之預測將圖像12編碼至資料串流14中。相應地，預測提供器16及後續模組18、20及22對此區塊進行操作。圖2中之區塊46係此預測區塊。然而，設備10亦可關於其他任務對區塊進行操作。舉例而言，由編碼級24執行之殘餘編碼亦可對區塊執行。然而，由預測提供器16處理之預測區塊可不同於作為編碼級24之操作單位的殘餘區塊。亦即，圖像12可為再分為預測區塊，其方式不同於其再分為殘餘區塊。舉例而言，但非排他地，再分為殘餘區塊可表示再分為預測區塊之擴展，使得每一殘餘區塊為對應預測區塊之部分，或與特定預測區塊一致，但不疊對至相鄰 預測區塊。此外，預測提供器16可使用不同的寫碼模式以便執行其預測，且在此等模式之間切換可在可被稱作寫碼區塊之區塊中發生，該等寫碼區塊亦可不同於預測區塊及/或殘餘區塊。舉例而言，將圖像12再分成寫碼區塊可使得每一預測區塊僅疊對一個對應寫碼區塊，但可小於此對應寫碼區塊。剛才所提及之寫碼模式可包括空間預測模式及時間預測模式。
為了進一步解釋設備10之功能性或操作模式，參看圖2，其說明圖像12可為屬視訊之圖像，亦即可為圖像之時間序列44中的一個圖像，但應注意，此僅為說明且設備10亦可適用於靜態圖像12。圖2特定地指示圖像12內之一個預測區塊46。此預測區塊應為預測提供器16目前在執行預測的區塊。為了預測區塊46，預測提供器16使用圖像12及/或視訊44之先前經編碼部分，或替代地，使用當嘗試對區塊46執行相同預測時解碼器可自資料串流14重建的部分。為此目的，預測提供器16使用可重建版本，亦即亦可在解碼器側重建之版本。不同寫碼模式可供使用。舉例而言，預測提供器16可藉助於時間預測來預測區塊46，諸如基於參考圖像48的運動經補償預測。替代地，預測提供器16可使用空間預測來預測區塊46。舉例而言，預測提供器16可沿著特定外插方向將區塊46之先前經編碼鄰域外插至區塊46內。在運動經補償預測的情況下，運動向量可針對區塊46在資料串流14內傳訊至解碼器以作為預測參數。同樣，在空間預測的情況 下，外插方向可針對區塊46在資料串流14內傳訊至解碼器以作為預測參數。
亦即，預測提供器16輸出預定區塊46之預測填充。預測填充在圖1中用48說明。其實際上為此預測填充之第一版本48，此係因為該預測填充將藉由組件18、20以及22的後續序列「改良」，如下文將進一步解釋。亦即，預測提供器16預測區塊46內之每一樣本50的預測樣本值，此預測填充表示第一版本48。
如圖1中所描繪，區塊46可為矩形或甚至正方形。然而，此僅為一實例且不應被視為限制本申請案之替代性實施例。
頻譜分解器經組配以根據頻譜分解由區塊46之預測填充的第一版本48及其擴展，即區塊46之鄰域54的先前經編碼版本，組成的區域52。亦即，根據幾何學，頻譜分解器20對區域52執行頻譜分解，除區塊46以外，該區域亦包含區塊46之鄰域54，其中區域52的對應於區塊46之部分用區塊46之預測填充的第一版本48填充，且鄰域54用在解碼側可自資料串流14重建之樣本值填充。頻譜分解器18接收來自預測提供器16的預測填充48且接收來自重建級34的鄰域54之經重建樣本值。
舉例而言，圖2說明圖像12係根據特定寫碼/解碼次序58藉由設備10寫碼至資料串流14中。舉例而言，此寫碼次序可自左上角至右下角遍歷圖像12。此遍歷可如圖2中所說明地逐列執行，但可替代地逐行或按對 角線執行。然而，所有此等實例僅為說明性的且不應被視為限制性的。由於自圖像12之左上方至右下方的寫碼/解碼次序之此一般傳播，對於大部分預測區塊46，在區塊46之頂部側邊461頂部或鄰近於該頂部側邊且在該區塊之左側邊464左邊或鄰近於該左側邊的區塊46之鄰域已被編碼至資料串流14中，且在執行區塊46之編碼/重建時已在解碼側自資料串流14重建。因此，在圖2之實例中，鄰域54表示超出區塊46之側邊461及464的區塊46之空間擴展，由此描述一L形區，其與區塊46一起產生一矩形區域52，該矩形區域之下部側邊及右側邊與區塊46之左側邊462及底部側邊463重疊或共線。
亦即，頻譜分解器18對與區域52對應之樣本陣列執行頻譜分解，其中對應於鄰域54之樣本係可使用由編碼級24寫碼至資料串流14中的其預測殘餘自資料串流14重建的樣本值，而區塊46內之區域52的樣本係預測提供器16之預測填充48的樣本值。頻譜分解器18對此區域52執行之頻譜分解，亦即其變換類型，可為DCT、DST或小波變換。視情況，但非排他地，頻譜分解器18所使用之變換T2的類型可與變換器28用於將由減法器28輸出之預測殘餘變換至譜域中的變換T1相同。若該等變換類型相同，則頻譜分解器18變換器28可共用負責或經設計用於執行彼類型之變換的特定電路及/或電腦程式碼。然而，替代地，由頻譜分解器18及變換器28執行之變換可不同。
因此，頻譜分解器18之輸出為第一頻譜60。頻譜60可為頻譜係數之陣列。舉例而言，頻譜係數的數目可等於區域52內之樣本的數目。頻譜分量所屬之空間頻率可逐行地增加，對於沿著水平軸x之空間頻率而言自左至右且對於沿著y軸的區域52內之空間頻率而言自上至下。然而，應注意，作為以上實例之替代，T2可為「過完備(overcomplete)」的，使得由T2產生之變換係數的數目甚至可大於區域52內之樣本的數目。
雜訊消減器20接著對頻譜60執行雜訊消減，從而獲得第二或雜訊經消減頻譜62。將在下文中提供關於雜訊消減器20可如何執行雜訊消減的實例。詳言之，雜訊消減20可涉及頻譜係數之定限。小於特定臨限值之頻譜係數可設定為零，或可向著零移位等於該臨限值的量。然而，所有此等實例僅為說明性的，且存在關於對頻譜60執行雜訊消減以得到頻譜62的許多替代例。
頻譜組合器22接著執行由頻譜分解器18執行之頻譜分解的反向過程。亦即，與頻譜分解器18相比，頻譜組合器22將使用反變換。作為可替代地被稱作合成之頻譜組合的結果，頻譜組合器22輸出區塊46之預測填充的第二版本，其在圖1中由64處之陰影線指示。應理解，組合器22之頻譜組合產生整個區域52之經修改版本。然而，如所指示，一方面藉由區塊46之不同陰影線且另一方面藉由鄰域54，僅對應於區塊46之部分係所關心的且形成區塊46之預測填充的第二版本。該部分在圖1中 由網狀線指示。鄰域54內的區域52之頻譜組合在圖1中使用簡單陰影線來說明且甚至不可藉由頻譜組合器22計算。在此應暫時注意，「逆轉性(inversity)」在由頻譜組合器22執行之頻譜分解T2 -1係T2的左逆時可能已實現，亦即T2 -1．T2=1。亦即，雙向逆轉性並非必要的。舉例而言，除以上變換實例以外，T2亦可為剪切波(shearlet)或輪廓波(contourlet)變換。無論用於T2之變換類型如何，T2的所有基本功能擴展遍佈整個區域52或所有基本功能覆蓋區域52之至少一大部分係有利的。
值得注意地，由於頻譜62已藉由對區域52進行變換、雜訊消減以及再變換而獲得的事實，該區域覆蓋已經編碼且對於解碼側而言可重建的版本，預測填充之第二版本64同樣產生較低預測誤差，且因此可表示用於最後藉由編碼級24將區塊46寫碼至資料串流14中，亦即用於執行殘餘寫碼的經改良預測子。
如上文已經提及，選擇器42可視情況存在於編碼器10中。若選擇器不存在，則區塊46之預測填充的第二版本64必然表示輸入減法器26之反相輸入端的區塊46之最終預測子，該減法器因此藉由自區塊46內之圖像12的實際內容減去最終預測子來計算預測殘餘或預測誤差。編碼級24接著將此預測殘餘變換至譜域中，量化器30在譜域中對表示此預測殘餘之各別頻譜係數執行量化。熵編碼器32特別地將此等經量化係數階熵編碼至資料串流14中。如上文已經提及，由於寫碼/解碼次序58，與鄰 域54內之預測殘餘有關的頻譜係數在對區塊46進行預測之前已存在於資料串流14內。量化器36及反變換器28將區塊46之預測殘餘以亦可在解碼側重建的版本恢復，且加法器40將此預測殘餘加至最終預測子，由此顯露已經編碼部分之重建版本，如上文已經說明，該重建版本亦包括鄰域54，亦即包含鄰域54之重建版本56，區域52之部分係使用重建版本填充，該部分接著經受由頻譜分解器18進行之頻譜分解。
然而，若可選選擇器42存在，則選擇器42可執行在區塊46之預測填充的第一版本48與第二版本64之間的選擇，且使用此等兩個版本中之任一者作為分別輸入減法器26之反相輸入端及加法器40之各別輸入端的最終預測子。
藉由區塊18至22及可選選擇42導出區塊46之預測填充的第二或經改良版本64所用的方式可針對編碼器10可參數化。亦即，編碼器10可關於以下選項中之一或多者將此方式參數化，其中參數化係藉助於各別信號通知而傳訊至解碼器。舉例而言，編碼器10可決定選擇版本48或64，且藉助於信號通知70在資料串流中傳訊選擇之結果。此外，執行選擇70所用之粒度可為子圖像粒度，且可例如在圖像12再分形成之區或區塊中實現。詳言之，編碼器10可個別地對諸如區塊46之每一預測區塊執行選擇，且針對每一此預測區塊藉助於信號通知70在資料串流14中傳訊該選擇。可針對每一區塊，諸如資料串流 14中之區塊46，傳訊簡單旗標。可使用空間預測，從而將信號通知70寫碼在資料串流14中。舉例而言，旗標可針對相鄰區塊46中之相鄰區塊基於資料串流14中所含之信號通知70在空間上預測。另外或替代地，可使用上下文自適應性熵寫碼以便將信號通知70寫碼至資料串流中。用以將特定區塊46之信號通知70熵寫碼至資料串流14中的上下文可根據針對相鄰區塊46的資料串流14中所含之屬性，諸如在此等相鄰區塊之資料串流14中傳訊的信號通知70來判定。
另外或替代地，編碼器10之另外參數化選項可為區域52的尺寸，或替代地鄰域54之尺寸。舉例而言，編碼器10可設定區域52之角位置，該角與共置至區塊46之對應角的區塊46之角74對置。藉助於分別地可用角位置或尺寸之清單中的索引，信號通知72可分別地指示此角76之位置或區域52之尺寸。角位置可相對於區塊46之左上角來指示，亦即作為關於與在區域52及區塊46之間共用的角對置的區塊46之角的向量。區域52之尺寸之設定可由設備10亦以諸如圖像12再分成之區或區塊的子圖像粒度進行，其中此等區或區塊可與預測區塊重合，亦即編碼器10可個別地執行每一區塊46的區域52之尺寸之設定。類似於信號通知70，信號通知72可使用如關於信號通知70所解釋的預測式寫碼及/或使用上下文自適應性熵寫碼(其使用空間上下文)而寫碼至資料串流14中。
替代或除信號通知70及72之外，設備10 亦可經組配以判定由雜訊消減器20執行的雜訊消減之一強度。舉例而言，藉助於信號通知78(圖3)，設備10可傳訊一經判定或所選擇之強度。舉例而言，信號通知78可指示一臨限值κ，該臨限值在以下在本文中所描述的更多地以數學方式呈現的植入實例中亦被提及。圖3說明：雜訊消減器20可使用此臨限值κ，從而將接續κ的頻譜60之所有頻譜分量或係數設定為零以產生頻譜62，或裁剪低於臨限值κ之頻譜60且將超過臨限值κ的頻譜60之部分壓縮或移位至零以自零開始，如圖3中所說明。上文關於信號通知70及72所指示之情況對信號通知78亦成立。亦即，設備10可按圖像全域或子圖像粒狀方式進行雜訊消減強度或臨限值κ的設定。在後一情況下，編碼器10可視情況個別地執行每一區塊46之設定。根據關於圖4所說明之特定實施例，編碼器10可自κ的可能值之一集合中選擇雜訊消減強度或臨限值κ，該集合本身係自複數個集合80中選擇。在集合80間之選擇可基於量化參數Q而執行，基於量化參數，量化器30執行預測殘餘信號之量化且反量化器36執行預測殘餘信號之反量化。接著藉由信號通知78來傳訊在選定集合80中的κ之可能值中選擇將實際使用的實際雜訊消減強度或臨限值κ。應理解，可以不同於用於在資料串流14中傳訊信號通知78之粒度的粒度在資料串流14中傳訊量化參數Q。舉例而言，可基於圖塊或基於圖像而在資料串流14中傳訊量化參數Q，而如剛才所概述，可針對每一區塊46在資料串流14中傳訊信 號通知78。類似於以上註解，信號通知78可使用以下各項在資料串流內傳輸：預測性寫碼及/或使用一空間上下文之上下文自適應性熵寫碼。
圖5展示自資料串流14進行圖像12、圖像12之重建版本的以區塊為基礎之預測式解碼的設備，該設備適合圖1之設備。對於關於彼等寫碼參數之任務而言，圖5之解碼器100的內部結構很大程度上與編碼器10的內部結構一致，寫碼參數最終由圖1之設備10來選擇。因此，圖5展示圖5之設備100包含一預測迴路，組件40、16、18、20、22以及可選信號42係以上文關於圖1所展示及所描述之方式串聯連接至該預測迴路中。由於待重建的信號(亦即圖像12)之重建部分在加法器40之輸出端處產生，因此此輸出表示解碼器100之輸出。視情況，諸如後濾光片之圖像改良模組可定位在輸出端之前。
應考慮到，只要設備10能夠自由地選擇特定寫碼參數，設備10即選擇此寫碼參數以用於最大化例如特定最佳化準則，諸如速率/失真成本量度。接著使用資料串流14中之信號通知使由編碼器10及解碼器100執行之預測保持同步。解碼器100之對應模組或組件可受藉由編碼器10包括於資料串流14中且傳訊選定寫碼參數的各別信號通知控制。舉例而言，解碼器100之預測提供器16係經由資料串流14中之寫碼參數來控制。舉例而言，此等寫碼參數指示例如預測模式，及用於所指示之預測模式的預測參數。寫碼參數係由設備10選取。預測參數102之 實例已在上文提及。剛才分別關於寫碼參數102及預測參數所概述的相同情形對於信號通知70、72及78中之每一者亦成立，信號通知全部係可選的，亦即該等信號通知皆不存在，存在一個、兩個或所有信號通知。在設備10之編碼側，選取各別信號通知以最佳化某一準則，且所選取之參數係藉助於各別信號通知來指示。信號通知70、72以及78指導對可選的關於在預測填充版本中做出選擇的選擇器42、關於區域52之尺寸的頻譜分解器18(諸如經由指示關於區域52之左上方頂點的相對向量)以及關於雜訊消減之強度的雜訊消減器20(諸如經由指示待使用之臨限值)的控制。剛才概述之迴路將經由加法器40之另一輸入端(亦即未連接至選擇器42的輸入端)而被連續地饋入新的殘餘資料，繼之以預測提供器16、頻譜分解器18、雜訊消減器20以及頻譜組合器22之重建器34的加法器40及視情況之選擇器42被串聯連接至該迴路中。詳言之，熵寫碼器132執行熵編碼器32之反操作，即熵寫碼器以一方式在譜域中熵解碼來自資料串流14之殘餘信號，即係數階，使得其係關於按上文所提及之寫碼/解碼次序58串聯的區塊46。熵解碼器132將此等係數階轉送至重建級34，該重建級在反量化器36中解量化該等係數階且藉由反變換器38將該等係數階變換至空間域，之後，將如此獲得之殘餘信號加至最終預測信號，該最終預測信號係預測填充之第二版本64或第一版本48。
總結上文，解碼器100可存取同一資訊基礎 以用於執行由預測提供器16進行之預測，且已經使用經由區塊32、36以及38之序列自資料串流14得到的預測信號重建目前預測區塊46之鄰域54內的樣本。信號通知70、78以及72在存在時允許編碼器與解碼器100之間的同步。如上文所概述，解碼器100可經組配以按子圖像粒度改變對應參數，即改變選擇器42之選擇、頻譜分解器18處的區域52之尺寸及/或雜訊消減器20中的雜訊消減強度，如上文已經闡述，子圖像粒度在此等參數間可不同。解碼器100按此粒度改變此等參數，此係因為信號通知70、72及/或78係按彼粒度在資料串流14中傳訊。如上文所概述，空間解碼可由設備100使用以解碼來自資料串流14的信號通知70、72以及78中之任一者。另外或替代地，使用一空間上下文之上下文自適應性熵解碼可使用。此外，關於信號通知78，亦即控制雜訊消減20之信號通知，如上文關於圖4所概述，設備100可經組配以基於量化參數Q而選擇可能雜訊消減強度之若干子集中的一個，設備100針對當前預測之區塊46定位所在之區自資料串流14判定該量化參數，且接著基於自可能雜訊消減強度之預先選擇集合中選擇一個可能雜訊消減強度之信號通知78而判定將實際上用於區塊46之雜訊消減的雜訊消減強度。舉例而言，每一集合80可包含八個可能雜訊消減強度。由於選擇了多於一個集合80，因此由所有集合80涵蓋的可能雜訊消減強度之總數目可為集合80之數目的八倍。然而，集合80可能重疊，亦即一些可能雜訊消減強度 可為多於一個集合80之成員。當然地，八在此僅用作為一實例，且每集合80的可能雜訊消減強度之數目可不同於八且甚至可在集合80間改變。
關於上文所概述實施例之許多變化係可能的。舉例而言，編碼級24及重建級34不必基於變換。亦即，預測殘餘可以除使用譜域以外的方式寫碼在資料串流14中。此外，可能地，概念可無損失地工作。如先前關於分解器18與變換器38之間的關係所描述，反變換器38之反變換在類型上可與組合器22之變換相同。
以上概念可以一方式實施，從而產生依賴於初始預測子及周圍的重建樣本之基於非線性變換域的預測。上文所概述之概念可用以在視訊寫碼時產生預測信號。換言之，此概念之原理可描述如下。在第一步驟中，如在某一基礎圖像或視訊壓縮標準中，圖像或視訊解碼器例如藉由運動補償或框內或空間圖像預測而產生開始預測信號。在第二步驟中，解碼器進行以下步驟。首先，解碼器定義一擴充信號，其由預測信號與已重建之信號的組合組成。接著，解碼器將線性分析變換應用於該擴充預測信號。接下來，解碼器將例如非線性定限應用於經變換之擴充預測信號。在最後步驟中，解碼器將線性合成變換應用於前一步驟之結果且用合成變換之結果替換該開始預測信號，侷限於預測信號之域。
在接下來章節中，吾人給出概念之更多地以數學方式呈現之解釋作為一實施實例。
吾人將混合式視訊寫碼標準視作一實例，在該標準中，對於每一色彩分量cmp，區塊46(圖2)上之視訊圖框之內容
Figure 108142331-A0305-02-0020-39
 其中k 1,cmp ,k 2,cmp ,l 1,cmp ,l 1,cmp
Figure 108142331-A0305-02-0020-36
Z，其中k 1,cmp <k 2,cmp 且l 1,cmp <l 2,cmp ，將藉由解碼器產生。對於每個色彩分量cmp，後一內容係藉由函數im cmp ：B cmp →
Figure 108142331-A0305-02-0020-37
給出。
吾人假設混合式視訊寫碼標準藉由對當前區塊B cmp 進行預測式寫碼而操作。
藉此意謂著，作為該標準之部分，對於每個分量cmp，解碼器以藉由已解碼之位元串流唯一地判定的方式建構圖2中之預測信號48，predcmp：Bcmp→
Figure 108142331-A0305-02-0020-38
。此預測信號可例如藉由框內圖像預測或藉由運動補償預測來產生。吾人申請此預測式寫碼之隨後擴展且因此新預測信號predcmp之隨後產生的版權。
1.改變該標準，以使得對於每個分量cmp，解碼器可自位元串流判定以下兩個選項中的哪個選項成立：
(i)選項一：新預測方法不適用。
(ii)選項二：新預測方法適用。
2.改變該標準，以使得若解碼器已在步驟一中判定選項二對於給定分量cmp成立，則解碼器有可能自 位元串流判定以下資料：
(i)獨特整數
Figure 108142331-A0305-02-0021-8
，其中
Figure 108142331-A0305-02-0021-9
<k1,cmp且
Figure 108142331-A0305-02-0021-10
<l1,cmp
以使得在區塊或L形鄰域54(圖2)上
Figure 108142331-A0305-02-0021-1
 已重建之影像reccmp：Brec,cmp→
Figure 108142331-A0305-02-0021-34
可供解碼器使用。
Figure 108142331-A0305-02-0021-2
、
Figure 108142331-A0305-02-0021-3
界定鄰域54之尺寸且可藉由72傳訊。
(ii)獨特整數
Figure 108142331-A0305-02-0021-35
，獨特分析變換T，其為線性映射
Figure 108142331-A0305-02-0021-4
以及獨特合成變換S，其為線性映射
Figure 108142331-A0305-02-0021-5
S在圖1及圖5中為60。舉例而言，T可為離散餘弦或離散正弦變換，在此情況下，
Figure 108142331-A0305-02-0021-6
Figure 108142331-A0305-02-0021-7
且S=T -1。
然而，亦可使用過完備變換，在此情況下
Figure 108142331-A0305-02-0021-11
(iii)獨特臨限值κ
Figure 108142331-A0305-02-0021-30
(0,∞)及獨特定限算子Θk：
Figure 108142331-A0305-02-0021-12
→
Figure 108142331-A0305-02-0021-13
，其給出為具有臨限值κ之硬式定限算子
Figure 108142331-A0305-02-0021-15
，其中
Figure 108142331-A0305-02-0021-16
定義如下
Figure 108142331-A0305-02-0021-17
給出為具有臨限值κ之軟式定限算子
Figure 108142331-A0305-02-0021-18
，其中
Figure 108142331-A0305-02-0021-19
定義如下
Figure 108142331-A0305-02-0022-20
此處，
Figure 108142331-A0305-02-0022-40
。定限可作為圖1及圖5中之雜訊消減20的部分進行且κ可藉由78傳訊。
舉例而言，可改變基礎編解碼器，以使得最後三個項中所引入之參數可藉由解碼器如下所述地自當前位元串流判定。解碼器自當前位元串流判定一索引，且使用此索引，解碼器自預定義之查找表判定整數
Figure 108142331-A0305-02-0022-31
及
Figure 108142331-A0305-02-0022-32
、變換T及S以及臨限值κ及特定定限算子。後一查找表可取決於已供解碼器使用之某些額外參數，例如量化參數。亦即，除70、72及78以外或替代其，可存在用以改變變換之信號通知且其反操作可由組合器22及分解器18使用。信號通知及變化形式可按圖像全域或子圖像粒狀方式及使用以下各項進行：空間預測及/或使用空間上下文之熵編碼/解碼。
3.改變標準，以使得若解碼器在步驟一中已判定選項二對於給定分量cmp成立，則解碼器將區塊Bcmp擴展至較大區塊
Figure 108142331-A0305-02-0022-41
 其中k' 1,cmp 、l' 1,cmp 與步驟二中相同，且根據下式定義擴充預測函數pred cmp,ext ：B cmp,cxt →
Figure 108142331-A0305-02-0022-33
Figure 108142331-A0305-02-0023-23
 其中Brec,cmp及reccmp與步驟二中相同。信號predcmp,ext在規範上可被視為
Figure 108142331-A0305-02-0023-24
中之向量。
接下來，解碼器定義圖1及圖5中之新預測信號64，
Figure 108142331-A0305-02-0023-25
：Bcmp→
Figure 108142331-A0305-02-0023-26
：根據
Figure 108142331-A0305-02-0023-27
 其中分析變換T臨限值κ、定限算子Θ κ 以及合成變換S與步驟二中相同。
4.改變一般編解碼器，以使得若解碼器在步驟一中已判定選項二對給定分量cmp成立，則解碼器用
Figure 108142331-A0305-02-0023-28
替換預測信號predcmp，其中
Figure 108142331-A0305-02-0023-29
與步驟二中相同。如圖1及圖5所示，可使用信號通知70。
如上文已提及，編解碼器不必為視訊編解碼器。
儘管已在設備之上下文中描述了一些態樣，但顯然，此等態樣亦表示對應方法之描述，其中區塊或裝置對應於方法步驟或方法步驟之特徵。類似地，方法步驟之上下文中所描述的態樣亦表示對應區塊或項目或對應設備之特徵的描述。可由(或使用)硬體設備(比如微處理器、可規劃電腦或電子電路)執行方法步驟中之一些或全部。在 一些實施例中，可由此設備來執行最重要之方法步驟中的一或多個。
本發明的經編碼圖像(或視訊)信號可儲存於數位儲存媒體上或可在諸如無線傳輸媒體之傳輸媒體或諸如網際網路之有線傳輸媒體上傳輸。
取決於某些實施要求，本發明之實施例可以硬體或以軟體來實施。可使用其上儲存有與可規劃電腦系統協作(或能夠協作)之電子可讀控制信號，使得執行各別方法之數位儲存媒體，例如軟碟、DVD、藍光、CD、ROM、PROM、EPROM、EEPROM或快閃記憶體)來執行實施。因此，數位儲存媒體可為電腦可讀的。
根據本發明之一些實施例包含具有電子可讀控制信號之資料載體，該等控制信號能夠與可規劃電腦系統協作，使得進行本文中所描述之方法中之一者。
大體而言，本發明之實施例可實施為具有程式碼之電腦程式產品，當電腦程式產品於電腦上執行時，程式碼操作性地用於執行該等方法中之一者。程式碼可例如儲存於機器可讀載體上。
其他實施例包含儲存於機器可讀載體上，用於執行本文中所描述之方法中之一者的電腦程式。
換言之，本發明方法之實施例因此為電腦程式，其具有用於在電腦程式於電腦上執行時執行本文中所描述之方法中之一者的程式碼。
因此，本發明方法之另一實施例為資料載體 (或數位儲存媒體，或電腦可讀媒體)，其包含記錄於其上的用於執行本文中所描述之方法中之一者的電腦程式。資料載體、數位儲存媒體或所記錄媒體通常係有形的及/或非瞬變的。
因此，本發明方法之另一實施例為表示用於執行本文中所描述之方法中的一者之電腦程式之資料串流或信號序列。資料串流或信號序列可例如經組配以經由資料通訊連接(例如，經由網際網路)而傳送。
另一實施例包含經組配以或經調適以執行本文中所描述之方法中之一者的處理構件，例如電腦或可規劃邏輯裝置。
另一實施例包含一電腦，其上安裝有用於執行本文中所描述之方法中之一者的電腦程式。
根據本發明之另一實施例包含經組配以(例如，電子地或光學地)傳送用於執行本文中所描述之方法中之一者的電腦程式至接收器的設備或系統。接收器可例如為電腦、行動裝置、記憶體裝置或其類似物。設備或系統可例如包含用於傳送電腦程式至接收器之檔案伺服器。
在一些實施例中，可規劃邏輯裝置(例如，場可規劃閘陣列)可用以執行本文中所描述之方法的功能性中之一些或全部。在一些實施例中，場可規劃閘陣列可與微處理器協作，以便執行本文中所描述之方法中之一者。通常，該等方法較佳由任何硬體設備來執行。
本文中所描述之設備可使用硬體設備或使 用電腦或使用硬體設備與電腦之組合來實施。
本文中所描述之設備或本文中所描述之設備的任何組件可至少部分地以硬體及/或以軟體來實施。
本文中所描述之方法可使用硬體設備或使用電腦或使用硬體設備與電腦之組合來進行。
本文中所描述之方法或本文中所描述之設備的任何組件可至少部分地由硬體及/或由軟體來執行。
上述實施例僅說明本發明之原理。應理解，對本文中所描述之配置及細節的修改及變化將對熟習此項技術者顯而易見。因此，意圖為僅受到接下來之申請專利範圍之範疇限制，而不受藉由本文中之實施例之描述及解釋所呈現的特定細節限制。
由上述討論，將可理解，本發明可以多種實施例形式體現，包含但不限於下列：
1.一種用於圖像的以區塊為基礎之預測式解碼的設備，其包含：一預測提供器，組配來預測該圖像之一預定區塊，從而獲得該預定區塊之一預測填充的一第一版本；一頻譜分解器，組配來把由該預定區塊之該預測填充的該第一版本及該預定區塊之一鄰域的一重建版本組成的一區域予以頻譜分解，從而獲得該區域之一第一頻譜；一雜訊消減器，組配來對該第一頻譜執行雜訊消減，從而獲得一第二頻譜；一頻譜組合器，組配來使該第二頻譜經受頻譜組合， 從而獲得該區域之一經修改版本，該經修改版本包括該預定區塊之該預測填充的一第二版本；一重建器，組配來基於該預測填充之該第二版本而自一資料串流解碼該預定區塊之一重建版本。
2.如實施例1之設備，其中該預測提供器係組配來使用空間及/或時間預測來預測該預定區塊。
3.如實施例1或2之設備，其中該頻譜分解器係組配成使得該預定區塊之該鄰域係超出該預定區塊之一周邊的一鄰接半部分的該預定區塊之一空間擴展。
4.如實施例1至3中任一者之設備，其中該預定區塊為矩形，且該預定區塊之周邊由沿著該預定區塊之該周邊順時針地依序配置的一第一側邊、一第二側邊、一第三側邊及一第四側邊組成，其中該鄰接半部分由該第一側邊及該第四側邊組成。
5.如實施例4之設備，其中該區域為矩形，且該區域之周邊包括該預定區塊之該第二側邊及該第三側邊。
6.如前述實施例中任一者之設備，其中該頻譜分解器及該頻譜組合器係組配成使得該頻譜分解與該頻譜組合互逆，且該頻譜分解為DST、DCT或小波變換。
7.如前述實施例中任一者之設備，其中該雜訊消減器係組配來使該第一頻譜經受定限。
8.如前述實施例中任一者之設備，其中該重建器係組配來解碼來自該資料串流之一殘餘信號，且使用 該殘餘信號校正該預定區塊之該預測填充的該第二版本。
9.如前述實施例中任一者之設備，其中該重建器係組配來在一譜域中解碼來自該資料串流之殘餘信號、將該殘餘信號變換至空間域中、且在該空間域中執行該校正。
10.如實施例9之設備，其中該重建器係組配來使用一變換類型執行該殘餘信號之該變換，該變換類型亦供該頻譜組合器用於該頻譜組合。
11.如前述實施例中任一者之設備，其中該重建器係組配來視該資料串流中之一第一信號通知，而在使用該預測填充的該第一版本與使用該預測填充的該第二版本之間切換。
12.如實施例11之設備，其中該設備係組配來以子圖像粒度解碼來自該資料串流之該第一信號通知。
13.如實施例11或12之設備，其中該設備係組配來使用以下各項來解碼來自該資料串流之該第一信號通知：空間預測及/或使用一空間相依脈絡之熵解碼。
14.如前述實施例中任一者之設備，其中該頻譜分解器係組配來視該資料串流中之一第二信號通知而設定該鄰域之一尺寸。
15.如實施例14之設備，其中該設備係組配來以子圖像粒度解碼來自該資料串流之該第二信號通知。
16.如實施例14或15之設備，其中該設備係組配來使用以下各項來解碼來自該資料串流之該第二信號 通知：空間預測及/或使用一空間相依脈絡之熵解碼。
17.如前述實施例中任一者之設備，其中該雜訊消減器係組配來視該資料串流中之一第三信號通知而設定雜訊消減之一強度。
18.如實施例17之設備，其中該設備係組配來以子圖像粒度解碼來自該資料串流之該第三信號通知。
19.如實施例17或18之設備，其中該設備係組配來使用以下各項來解碼來自該資料串流之該第三信號通知：空間預測及/或使用一空間相依脈絡之熵解碼。
20.如實施例17至19中任一者之設備，其中該設備係組配來在設定該雜訊消減之一強度時，基於由該重建器應用於自該資料串流重建該預定區塊的一量化參數而選擇一組可能強度，且執行該設定，使得藉由使用該第三信號通知作為至選定之該組可能強度中之一索引而將該強度設定為該組可能強度中的一個可能強度。
21.一種用於圖像的以區塊為基礎之預測式編碼的設備，其包含：一預測提供器，組配來預測該圖像之一預定區塊，從而獲得該預定區塊之一預測填充的一第一版本；一頻譜分解器，組配來把由該預定區塊之該預測填充的該第一版本及該預定區塊之一鄰域的一先前經編碼版本組成的一區域予以頻譜分解，從而獲得該區域之一第一頻譜；一雜訊消減器，組配來對該第一頻譜執行雜訊消減， 從而獲得一第二頻譜；一頻譜組合器，組配來使該第二頻譜經受頻譜組合，從而獲得該區域之一經修改版本，該經修改版本包括該預定區塊之該預測填充的一第二版本；一編碼級，組配來基於該預測填充之該第二版本而將該預定區塊編碼至一資料串流中。
22.如實施例21之設備，其中該預測提供器係組配來使用空間及/或時間預測來預測該預定區塊。
23.如實施例21或22之設備，其中該頻譜分解器係組配成使得該預定區塊之該鄰域係超出該預定區塊之一周邊的一鄰接半部分的該預定區塊之一空間擴展。
24.如實施例21至23中任一者之設備，其中該預定區塊為矩形，且該預定區塊之周邊由沿著該預定區塊之該周邊順時針地依序配置的一第一側邊、一第二側邊、一第三側邊及一第四側邊組成，其中該鄰接半部分由該第一側邊及該第四側邊組成。
25.如實施例24之設備，其中該區域為矩形，且該區域之周邊包括該預定區塊之該第二側邊及該第三側邊。
26.如實施例21至25中任一者之設備，其中該頻譜分解器及該頻譜組合器係組配成使得該頻譜分解與該頻譜組合互逆，且該頻譜分解為DST、DCT或小波變換。
27.如實施例21至26中任一者之設備，其中該雜訊消減器係組配來使該第一頻譜經受定限。
28.如實施例21至27中任一者之設備，其中該編碼級係組配來將一殘餘信號編碼到一資料串流中，該殘餘信號校正該預定區塊之該預測填充的該第二版本之一預測誤差。
29.如實施例21至28中任一者之設備，其中該編碼級係組配來在空間域中判定該預測誤差、將該預測誤差變換至譜域中、且在該譜域中將該殘餘信號編碼到該資料串流中。
30.如實施例29之設備，其中該編碼級係組配來使用一變換類型執行該殘餘信號之該變換，該變換類型亦供該頻譜分解器用於該頻譜分解。
31.如實施例21至30中任一者之設備，其中該編碼級係組配來在使用該預測填充的該第一版本與使用該預測填充的該第二版本之間選擇，且藉助於該資料串流中之一第一信號通知來傳訊該選擇。
32.如實施例31之設備，其中該設備係組配來執行該選擇，且以子圖像粒度將該第一信號通知編碼到該資料串流中。
33.如實施例32或33之設備，其中該設備係組配來使用以下各項將該第一信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
34.如實施例21至33中任一者之設備，其係組配來設定鄰域之一尺寸，且藉助於一資料串流中的一第二信號通知來傳訊該尺寸。
35.如實施例34之設備，其中該設備係組配來執行該設定，且以子圖像粒度將該第二信號通知編碼到該資料串流中。
36.如實施例34或35之設備，其中該設備係組配來使用以下各項將該第二信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
37.如實施例21至36中任一者之設備，其係組配來設定該雜訊消減之一強度，且藉助於該資料串流中之一第三信號通知來傳訊該強度。
38.如實施例37之設備，其中該設備係組配來執行該強度之該設定，且以子圖像粒度將該第三信號通知編碼到該資料串流中。
39.如實施例37或38之設備，其中該設備係組配來使用以下各項將該第三信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
40.如實施例37至39中任一者之設備，其中該設備係組配來在設定該雜訊消減之一強度時，基於由該編碼級應用於將該預定區塊編碼到該資料串流中的一量化參數而選擇一組可能強度，且執行該設定，使得該強度被設定為該組可能強度中的一個可能強度，且該第三信號通知指示至選定之該組可能強度中之一索引。
41.一種用於圖像的以區塊為基礎之預測式解碼的方法，其包含：預測該圖像之一預定區塊，從而獲得該預定區塊之一 預測填充的一第一版本；把由該預定區塊之該預測填充的該第一版本及該預定區塊之一鄰域的一重建版本組成的一區域予以頻譜分解，從而獲得該區域之一第一頻譜；對該第一頻譜執行雜訊消減，從而獲得一第二頻譜；使該第二頻譜經受頻譜組合，從而獲得該區域之一經修改版本，該經修改版本包括該預定區塊之該預測填充的一第二版本；基於該預測填充之該第二版本而自一資料串流解碼該預定區塊之一重建版本。
42.一種用於圖像的以區塊為基礎之預測式編碼的方法，其包含：預測該圖像之一預定區塊，從而獲得該預定區塊之一預測填充的一第一版本；把由該預定區塊之該預測填充的該第一版本及該預定區塊之一鄰域的一先前經編碼版本組成的一區域予以頻譜分解，從而獲得該區域之一第一頻譜；對該第一頻譜執行雜訊消減，從而獲得一第二頻譜；使該第二頻譜經受頻譜組合，從而獲得該區域之一經修改版本，該經修改版本包括該預定區塊之該預測填充的一第二版本；基於該預測填充之該第二版本而將該預定區塊編碼到一資料串流中。
43.一種包含程式碼的電腦程式，該程式碼 在運行於一電腦上時用於執行如實施例41或42之方法。
44.一種具有編碼進來之圖像的資料串流，該資料串流係藉由如實施例42之方法產生。
12:圖像
44:時間序列
46:預測區塊
461、462、463、464:側邊
48:參考圖像/第一版本
50:樣本
52:區域
54:鄰域
58:寫碼/解碼次序
72:信號通知
74、76:角

Claims (34)

  1. 一種用於圖像的以區塊為基礎之預測式解碼的設備，其組配以：藉由框內預測或藉由運動補償預測產生用於該圖像之一預定區塊之一開始預測信號；定義一擴充信號，其由該開始預測信號與一已重建信號的一組合組成，從而獲得一擴充預測信號；將一線性分析變換應用於該擴充預測信號以獲得一經變換之擴充預測信號；對該經變換之擴充預測信號執行一定限化，以獲得一經定限化經變換之擴充預測信號；將一線性合成變換應用於該經定限化經變換之擴充預測信號，以獲得一改善預測信號；使用對應於該預定區塊之該改善預測信號之一部分來預測該預定區塊。
  2. 如請求項1之設備，其組配以定義該擴充信號使得該開始預測信號在空間上擴展超出該預定區塊之一周邊的一鄰接半部分該已重建信號的一空間上相鄰部分。
  3. 如請求項1之設備，其組配來使用非線性定限化執行該定限化。
  4. 如請求項1之設備，其組配來從該資料串流解碼一殘餘信號，且使用該殘餘信號校正該改善預測信號之該部分。
  5. 如請求項4之設備，其中該重建器係組配來在一譜域中從該資料串流解碼該殘餘信號、將該殘餘信號變換至空間域中、且在該空間域中執行該校正。
  6. 如請求項1之設備，其組配來視該資料串流中之一第一信號通知，而在使用該開始預測信號與該改善預測信號之該部分之間切換。
  7. 如請求項6之設備，其組配來以子圖像粒度從該資料串流解碼該第一信號通知。
  8. 如請求項6之設備，其組配來使用以下各項來從該資料串流解碼該第一信號通知：空間預測及/或使用一空間相依脈絡之熵解碼。
  9. 如請求項2之設備，其組配來視該資料串流中之一第二信號通知而設定該空間上相鄰部分之一尺寸。
  10. 如請求項9之設備，其組配來以子圖像粒度從該資料串流解碼該第二信號通知。
  11. 如請求項9之設備，其組配來使用以下各項來從該資料串流解碼該第二信號通知：空間預測及/或使用一空間相依脈絡之熵解碼。
  12. 如請求項1之設備，其組配來視該資料串流中之一第三信號通知而設定在該定限化中使用的一臨限值。
  13. 如請求項12之設備，其組配來以子圖像粒度從該資料串流解碼該第三信號通知。
  14. 如請求項12之設備，其組配來使用以下各項來從該資料串流解碼該第三信號通知：空間預測及/或使用一空間相依脈絡之熵解碼。
  15. 如請求項12之設備，其組配來在設定該臨限值時，基於使用於預測殘餘解碼該預定區塊之在該資料串流中傳訊的一量化參數而選擇一組可能臨限值，及執行該臨限值之該設定，使得藉由使用該第三信號通知作為至選定之該組可能臨限值中之一索引而將該臨限值設定為該組可能臨限值中之一者。
  16. 一種用於圖像的以區塊為基礎之預測式編碼的設備，其組配以：藉由框內預測或藉由運動補償預測產生用於該圖像之一預定區塊之一開始預測信號；定義一擴充信號，其由該開始預測信號與一已編碼信號的一組合組成，從而獲得一擴充預測信號；將一線性分析變換應用於該擴充預測信號以獲得一經變換之擴充預測信號；對該經變換之擴充預測信號執行一定限化，以獲得一經定限化經變換之擴充預測信號；將一線性合成變換應用於該經定限化經變換之擴充預測信號，以獲得一改善預測信號；使用對應於該預定區塊之該改善預測信號之一部分來預測該預定區塊。
  17. 如請求項16之設備，其組配以定義該 擴充信號使得該開始預測信號在空間上擴展超出該預定區塊之一周邊的一鄰接半部分該已編碼信號的一空間上相鄰部分。
  18. 如請求項16之設備，其組配來使用非線性定限化執行該定限化。
  19. 如請求項16之設備，其組配來將一殘餘信號編碼到一資料串流中，該殘餘信號校正該改善預測信號之該部分之一預測誤差。
  20. 如請求項19之設備，其中該編碼級係組配來在空間域中判定該預測誤差、將該預測誤差變換至譜域中、且在該譜域中將該殘餘信號編碼到該資料串流中。
  21. 如請求項16之設備，其中該編碼級係組配來在使用該開始預測信號與該改善預測信號之該部分之間選擇，且藉助於該資料串流中之一第一信號通知來傳訊該選擇。
  22. 如請求項21之設備，其組配來執行該選擇，且以子圖像粒度將該第一信號通知編碼到該資料串流中。
  23. 如請求項21之設備，其組配來使用以下各項將該第一信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
  24. 如請求項17之設備，其組配來設定該空間上相鄰部分之一尺寸，且藉助於一資料串流中的一第二信號通知來傳訊該尺寸。
  25. 如請求項24之設備，其組配來執行該設定，且以子圖像粒度將該第二信號通知編碼到該資料串流中。
  26. 如請求項24之設備，其組配來使用以下各項將該第二信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
  27. 如請求項16之設備，其係組配來設定在該定限化中使用之一臨限值，且藉助於該資料串流中之一第三信號通知來傳訊該臨限值。
  28. 如請求項27之設備，其中該設備係組配來執行該臨限值之該設定，且以子圖像粒度將該第三信號通知編碼到該資料串流中。
  29. 如請求項27之設備，其組配來使用以下各項將該第三信號通知編碼到該資料串流中：空間預測及/或使用一空間脈絡之熵編碼。
  30. 如請求項27之設備，其中該設備係組配來在設定該臨限值時，基於使用於預測殘餘編碼該預定區塊之在該資料串流中傳訊的一量化參數而選擇一組可能臨限值，及執行該臨限值之該設定，使得該臨限值被設定為該組可能臨限值中之一者，且該第三信號通知指示至選定之該組可能臨限值中之一索引。
  31. 一種用於圖像的以區塊為基礎之預測式解碼的方法，其包含：藉由框內預測或藉由運動補償預測產生用於該圖像之 一預定區塊的一開始預測信號；定義一擴充信號，其由該開始預測信號與一已重建信號的一組合組成，從而獲得一擴充預測信號；將一線性分析變換應用於該擴充預測信號以獲得一經變換之擴充預測信號；對該經變換之擴充預測信號執行一定限化，以獲得一經定限化經變換之擴充預測信號；將一線性合成變換應用於該經定限化經變換之擴充預測信號，以獲得一改善預測信號；使用對應於該預定區塊之該改善預測信號之一部分來預測該預定區塊。
  32. 一種用於圖像的以區塊為基礎之預測式編碼的方法，其包含：藉由框內預測或藉由運動補償預測產生用於該圖像之一預定區塊之一開始預測信號；定義一擴充信號，其由該開始預測信號與一已編碼信號的一組合組成，從而獲得一擴充預測信號；將一線性分析變換應用於該擴充預測信號以獲得一經變換之擴充預測信號；對該經變換之擴充預測信號執行一定限化，以獲得一經定限化經變換之擴充預測信號；將一線性合成變換應用於該經定限化經變換之擴充預測信號，以獲得一改善預測信號；使用對應於該預定區塊之該改善預測信號之一部分來 預測該預定區塊。
  33. 一種包含程式碼的電腦程式，該程式碼在運行於一電腦上時用於執行如請求項31或32之方法。
  34. 一種資料串流，其具有被編碼進其內之一圖像，該資料串流係藉由如請求項32之方法產生。
TW108142331A 2017-01-05 2017-12-26 以區塊為基礎之圖像預測式編碼和解碼技術 TWI729579B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17150454 2017-01-05
EP17150454.1 2017-01-05

Publications (2)

Publication Number Publication Date
TW202037171A TW202037171A (zh) 2020-10-01
TWI729579B true TWI729579B (zh) 2021-06-01

Family

ID=57749847

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106145737A TWI681667B (zh) 2017-01-05 2017-12-26 以區塊為基礎之圖像預測式編碼和解碼技術
TW108142331A TWI729579B (zh) 2017-01-05 2017-12-26 以區塊為基礎之圖像預測式編碼和解碼技術

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW106145737A TWI681667B (zh) 2017-01-05 2017-12-26 以區塊為基礎之圖像預測式編碼和解碼技術

Country Status (5)

Country Link
US (3) US11115682B2 (zh)
KR (3) KR102432580B1 (zh)
CN (2) CN110692250B (zh)
TW (2) TWI681667B (zh)
WO (1) WO2018127418A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016085662A1 (en) 2014-11-25 2016-06-02 Albert Einstein College Of Medicine, Inc. Btnl9 and ermap as novel inhibitors of the immune system for immunotherapies

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080798A1 (en) * 2007-09-26 2009-03-26 Ron Maurer Processing an input image to reduce compression-related artifacts
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
CN101159875B (zh) * 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
EP2904803A1 (en) * 2012-10-01 2015-08-12 GE Video Compression, LLC Scalable video coding using derivation of subblock subdivision for prediction from base layer
CN104885467B (zh) * 2013-01-30 2018-08-17 英特尔公司 用于下一代视频编码的内容自适应参数变换
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备
CN108886618A (zh) * 2016-03-24 2018-11-23 Lg 电子株式会社 视频编码系统中的帧间预测方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090080798A1 (en) * 2007-09-26 2009-03-26 Ron Maurer Processing an input image to reduce compression-related artifacts
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding

Also Published As

Publication number Publication date
KR20190103315A (ko) 2019-09-04
KR20230096143A (ko) 2023-06-29
KR102432580B1 (ko) 2022-08-17
CN115190301A (zh) 2022-10-14
KR20220116352A (ko) 2022-08-22
US20220132167A1 (en) 2022-04-28
US11729426B2 (en) 2023-08-15
CN110692250B (zh) 2022-07-01
WO2018127418A1 (en) 2018-07-12
CN110692250A (zh) 2020-01-14
TW202037171A (zh) 2020-10-01
TWI681667B (zh) 2020-01-01
US20190327492A1 (en) 2019-10-24
US11115682B2 (en) 2021-09-07
KR102548323B1 (ko) 2023-06-28
TW201840189A (zh) 2018-11-01
US20230353788A1 (en) 2023-11-02

Similar Documents

Publication Publication Date Title
JP6537511B2 (ja) Ｈｅｖｃにおける改良型パレットモード
JP5646641B2 (ja) 画像のブロックを符号化する方法及び画像のブロックを再構成する方法
KR101814890B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
JP5545783B2 (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
US10757428B2 (en) Luma and chroma reshaping of HDR video encoding
US20130003855A1 (en) Processing method and device for video signals
US9877025B2 (en) Video encoding and decoding with prediction at higher precision
TW201943275A (zh) 用以選擇內預測模式以供填補之設備
CN104685884A (zh) 用于混合视频编解码器的改进架构
CN107079154B (zh) 向后兼容的hdr视频多层压缩技术
US20210084313A1 (en) Refined block-based predictive coding and decoding of a picture
US20230353788A1 (en) Block-based predictive coding and decoding of a picture
JP7393366B2 (ja) 画像の符号化方法、復号化方法、エンコーダおよびデコーダ
KR20140022122A (ko) 율―왜곡 최적화를 이용한 비디오 부호화 방법 및 장치
JP2022096655A (ja) 復号装置、プログラム、及び復号方法
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム
CN112292858A (zh) 用于编码和解码表示至少一个图像的数据流的方法和装置