TWI554081B - 基於位元深度之取樣適應性偏移縮放 - Google Patents

基於位元深度之取樣適應性偏移縮放 Download PDF

Info

Publication number
TWI554081B
TWI554081B TW103112873A TW103112873A TWI554081B TW I554081 B TWI554081 B TW I554081B TW 103112873 A TW103112873 A TW 103112873A TW 103112873 A TW103112873 A TW 103112873A TW I554081 B TWI554081 B TW I554081B
Authority
TW
Taiwan
Prior art keywords
offset value
scaling
video
scaled
block
Prior art date
Application number
TW103112873A
Other languages
English (en)
Other versions
TW201505421A (zh
Inventor
金祐湜
羅傑爾斯 喬爾 索爾
瑞珍 雷克斯曼 喬許
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201505421A publication Critical patent/TW201505421A/zh
Application granted granted Critical
Publication of TWI554081B publication Critical patent/TWI554081B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Spectrometry And Color Measurement (AREA)

Description

基於位元深度之取樣適應性偏移縮放
本發明大體上係關於視訊寫碼，且更特定而言，係關於視訊寫碼處理中之取樣適應性偏移(SAO)濾波，諸如，高效率視訊寫碼(High Efficiency Video Coding,HEVC)。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(personal digital assistant,PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主控台、蜂巢式或衛星無線電電話、所謂「智慧型電話(smart phone)」、視訊電傳會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊壓縮技術，諸如，以下各者中描述之視訊壓縮技術：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分之進階視訊寫碼(Advanced Video Coding,AVC)定義之標準；目前在開發中之高效率視訊寫碼(HEVC)標準；及此等標準之延伸。視訊器件可藉由實施此等視訊壓縮技術來較有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊壓縮技術執行空間(圖像內)預測及/或時間(圖像間)預測以縮減或移除為視訊序列所固有之冗餘。對於以區塊為基礎之視訊寫碼，可將一視訊截塊(亦即，一視訊圖框或一視訊圖框之一部分)分割成若 干視訊區塊，其亦可被稱作樹型區塊(treeblock)、寫碼單元(coding unit,CU)及/或寫碼節點(coding node)。一圖像之經框內寫碼(I)截塊中之視訊區塊係使用關於該同一圖像中之相鄰區塊中之參考樣本的空間預測予以編碼。一圖像之經框間寫碼(P或B)截塊中之視訊區塊可使用關於該同一圖像中之相鄰區塊中之參考樣本的空間預測，或關於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測引起用於待寫碼區塊之預測性區塊。殘差資料表示原始待寫碼區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本區塊之運動向量及指示經寫碼區塊與預測性區塊之間的差之殘差資料來編碼經框間寫碼區塊。根據框內寫碼模式及殘差資料來編碼經框內寫碼區塊。出於進一步壓縮起見，可將殘差資料自像素域變換至變換域，從而引起殘差變換係數，該等殘差變換係數接著可被量化。可掃描最初以二維陣列而配置之經量化變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多的壓縮。
本發明之系統、方法及器件各自具有若干創新態樣，該等態樣中無單一態樣單獨地負責本文所揭示之理想屬性。本發明之一個態樣提供一種用於視訊寫碼之裝置及方法。該裝置包含一記憶體單元，該記憶體單元經組態以儲存視訊資料。該裝置進一步包含一處理器，該處理器以操作方式耦接至該記憶體單元。該處理器可經組態以判定用於應用於該視訊資料以改良該視訊資料中之信號振幅之重新建構之一取樣適應性偏移(SAO)濾波器的一偏移值。該處理器可經進一步組態以針對該視訊資料判定指示一位元深度之一第一值及指示一縮放比例之一第二值。該處理器可經進一步組態以基於將該縮放比例應用於該 偏移值來提供一經縮放偏移值，且根據該經縮放偏移值來縮放該視訊資料之至少一色彩分量。
在相關態樣中，該處理器可經組態以基於將一解區塊濾波器應用於該視訊資料之至少一區塊來使與該視訊資料中之該至少一區塊相關聯之區塊邊緣平滑。該處理器可經進一步組態以至少部分地基於應用於該偏移值之該縮放比例來縮放該至少一區塊之一相鄰像素值群組。該處理器可經進一步組態以至少部分地基於該經縮放群組之一邊緣形狀來識別一邊緣偏移類別，且基於該經識別邊緣偏移類別來調整一SAO濾波器。在另外相關態樣中，亦提供執行該裝置之功能之方法。
10‧‧‧視訊編碼與解碼系統
12‧‧‧來源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊來源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
31‧‧‧儲存器件
32‧‧‧顯示器件
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖像記憶體
72‧‧‧解區塊濾波器
74‧‧‧取樣適應性偏移(SAO)濾波器
76‧‧‧適應性迴路濾波器
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
92‧‧‧參考圖像記憶體
93‧‧‧解區塊濾波器
94‧‧‧取樣適應性偏移(SAO)濾波器
95‧‧‧適應性迴路濾波器(ALF)
100‧‧‧跡線
104‧‧‧跡線
400‧‧‧編碼器
410‧‧‧預測處理單元
412‧‧‧變換/量化單元
414‧‧‧熵編碼器
416‧‧‧解量化/反變換單元
418‧‧‧預測補償器
420‧‧‧解區塊濾波器
422‧‧‧取樣適應性偏移(SAO)參數估計器
424‧‧‧偏移按比例縮小器
426‧‧‧偏移按比例放大器
428‧‧‧取樣適應性偏移(SAO)濾波器
430‧‧‧參考圖像記憶體
500‧‧‧解碼器
510‧‧‧熵解碼單元
512‧‧‧偏移按比例放大器
514‧‧‧解量化/反變換單元
516‧‧‧預測補償單元
518‧‧‧解區塊濾波器
520‧‧‧取樣適應性偏移(SAO)濾波器
522‧‧‧記憶體單元
800‧‧‧視訊編碼器
820‧‧‧解區塊濾波器
822‧‧‧像素縮放器
824‧‧‧取樣適應性偏移(SAO)參數估計器
826‧‧‧偏移按比例縮小器
828‧‧‧偏移按比例放大器
830‧‧‧取樣適應性偏移(SAO)濾波器
900‧‧‧視訊解碼器
910‧‧‧熵解碼單元
912‧‧‧偏移按比例放大器
918‧‧‧解區塊濾波器
920‧‧‧像素縮放器
922‧‧‧取樣適應性偏移(SAO)濾波器
1000‧‧‧方法
1010‧‧‧區塊
1020‧‧‧區塊
1030‧‧‧區塊
1040‧‧‧區塊
1100‧‧‧方法
1110‧‧‧區塊
1120‧‧‧區塊
1130‧‧‧區塊
1140‧‧‧區塊
圖1為說明可利用本發明所描述之取樣適應性偏移濾波技術之實例視訊編碼與解碼系統的方塊圖。
圖2為說明可實施本發明所描述之取樣適應性偏移濾波技術之實例視訊編碼器的方塊圖。
圖3為說明可實施本發明所描述之取樣適應性偏移濾波技術之實例視訊解碼器的方塊圖。
圖4為說明可實施本發明所描述之取樣適應性偏移濾波技術之另一實例視訊編碼器的方塊圖。
圖5為說明可實施本發明所描述之取樣適應性偏移濾波技術之另一實例視訊解碼器的方塊圖。
圖6為根據本發明之一或多個態樣的展示根據各種映射方法的經寫碼偏移值與經縮放偏移值之間的實例映射曲線的說明。
圖7為展示邊緣類別中之四者之實例的說明。
圖8為根據本發明之一或多個態樣的說明具有像素縮放器之視訊編碼器之實例的方塊圖。
圖9為根據本發明之一或多個態樣的說明具有像素縮放器之視訊解碼器之實例的方塊圖。
圖10為根據本發明之一或多個態樣的展示用於SAO縮放之例示性方法的流程圖。
圖11為根據本發明之一或多個態樣的展示用於邊緣偏移分類之像素值縮放之例示性方法的流程圖。
下文結合隨附圖式所陳述之【實施方式】意欲作為本發明之各種實施例之描述，且不意欲表示可供實踐本發明之僅有實施例。貫穿此【實施方式】所使用之術語「例示性」意謂「充當實例、例子或說明」，且未必應被認作比其他例示性實施例較佳或有利。【實施方式】出於提供對本發明之例示性實施例之透徹理解的目的而包括特定細節。在一些例子中，以方塊圖形式來展示一些器件。
雖然出於解釋簡單之目的而將方法展示及描述為一系列動作，但應理解及瞭解，該等方法並不受到動作之次序限制，此係因為：根據一或多個態樣，一些動作可以與本文所展示及描述之次序不同的次序及/或與其他動作同時地發生。舉例而言，熟習此項技術者應理解及瞭解，一方法可替代地被表示為一系列相關狀態或事件，諸如，呈狀態圖。此外，根據一或多個態樣，可能並不需要所有所說明動作來實施一方法。
高效率視訊寫碼(HEVC)為由ITU-T WP3/16及ISO/IEC JTC 1/SC 29/WG 11之視訊寫碼聯合協作團隊(JCT-VC)開發之國際視訊寫碼標準。HEVC使用被稱為取樣適應性偏移(SAO)之迴路內濾波器，該迴路內濾波器係在解區塊濾波器之後被應用。在SAO中，根據SAO類型及類別而將一偏移值加至每一像素。可針對每一最大寫碼單元(largest coding unit,LCU)或寫碼樹型單元(coding tree unit,CTU)來傳信SAO 參數，包括類型及偏移值。分離地針對明度(luma)及色度(chroma)來傳信SAO類型，且針對Cb分量及Cr分量來共用色度SAO類型。可針對一LCU或CTU內之每一色彩分量來傳信四個偏移。
在HEVC之一種途徑中，經寫碼偏移值範圍可相依於位元深度。經寫碼偏移值範圍為[0,(1<<(Min(bitDepth,10)-5))-1]，且分離地寫碼正負號值。舉例而言，用於8位元視訊之範圍為[0,7]，用於9位元視訊之範圍為[0,15]，且用於10及10以上之位元深度之範圍為[0,31]。
在一項實施中，可針對大於10之位元深度線性地縮放經解碼偏移值，如下文所展示。
offset_scaled=offset_coded<<(bitDepth-10)
舉例而言，當位元深度為12時，使每一經解碼偏移值在加至每一像素之前乘以4。
當自較高位元深度視訊產生較低位元深度視訊時，使用色調映射(tone mapping)，該色調映射可為線性或非線性。每一色彩分量可具有不同色調映射。然而，在某些實施中，根據每一色彩分量之位元深度而針對所有色彩分量應用僅一線性縮放。此情形可限制SAO效能，且導致寫碼效率損失，特別是對於位元深度高於10位元之視訊。因此，需要開發一種可根據輸入序列特性而變更之偏移縮放方法/技術。此方法/技術將允許SAO充分地展示其效率以改良寫碼效能。
為了減輕或解決問題，本發明描述一種偏移映射處理，其中可根據一縮放參數集合來縮放經解碼偏移值。該等縮放參數可包括：用以自預定義映射方法當中進行選擇之縮放技術，包括線性縮放及非線性縮放(其處理可被稱為「非線性地縮放」)；及用以控制映射步長之縮放比例。每一色彩分量(或色彩分量群組)可具有一獨立縮放技術及一縮放比例。此技術之一優勢為：無需變更熵寫碼/解碼部分，此情 形可促進除了現有HEVC技術或其類似者以外之此技術之實施。
圖1為說明可利用本發明所描述之SAO技術之實例視訊編碼與解碼系統10的方塊圖。如圖1所展示，系統10包括來源器件12，來源器件12產生稍後待由目的地器件14解碼之經編碼視訊資料。來源器件12及目的地器件14可包含廣泛範圍之器件中任一者，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、所謂「智慧型」鍵台、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲主控台、視訊串流器件，或其類似者。在一些狀況下，來源器件12及目的地器件14可經裝備用於無線通信。
目的地器件14可經由鏈路16而接收待解碼之經編碼視訊資料。鏈路16可包含能夠將經編碼視訊資料自來源器件12移動至目的地器件14的任何類型之媒體或器件。在一項實例中，鏈路16可包含用以使來源器件12能夠即時地將經編碼視訊資料直接地傳輸至目的地器件14之通信媒體。可根據諸如無線通信協定之通信標準來調變經編碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如，一射頻(radio frequency,RF)頻譜，或者一或多個實體傳輸線。通信媒體可形成諸如以下各者之以封包為基礎之網路的部分：區域網路、廣域網路，或諸如網際網路之全域網路。通信媒體可包括路由器、交換器、基地台，或可有用於促進自來源器件12至目的地器件14之通信之任何其他設備。
替代地，可將經編碼資料自輸出介面22輸出至儲存器件31。相似地，可藉由輸入介面而自儲存器件31存取經編碼資料。儲存器件31可包括多種分散式或本機存取式資料儲存媒體中任一者，諸如，硬碟、藍光(Blu-ray)光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他適合數位儲存 媒體。在一另外實例中，儲存器件31可對應於可保持由來源器件12產生之經編碼視訊之檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件31存取經儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(network attached storage,NAS)器件或本機磁碟機。目的地器件14可經由包括網際網路連接之任何標準資料連接而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等等)，或兩者之組合。經編碼視訊資料自儲存器件31之傳輸可為串流傳輸、下載傳輸，或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於視訊寫碼以支援多種多媒體應用中任一者，諸如，空中電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼，或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸，以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，來源器件12包括視訊來源18、視訊編碼器20及輸出介面22。在一些狀況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在來源器件12中，視訊來源18可包括諸如視訊捕捉器件(例如，視訊攝影機)之來源、含有經先前捕捉視訊之視訊封存檔、用以自視訊內容提供者接收視訊之視訊饋送介面，及/或用於產生電腦圖形資料作為來源視訊之電腦圖形系統，或此等來源之組合。作為一項實例，若視訊來源18為視訊攝影機，則來源器件12及目的地 器件14可形成所謂攝影機電話或視訊電話。然而，本發明所描述之技術可大體上適用於視訊寫碼，且可應用於無線應用及/或有線應用。
可由視訊編碼器20編碼經捕捉、經預捕捉或經電腦產生之視訊。可經由來源器件12之輸出介面22而將經編碼視訊資料直接地傳輸至目的地器件14。亦(或替代地)可將經編碼視訊資料儲存至儲存器件31上以由目的地器件14或其他器件稍後存取，以供解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。在一些狀況下，輸入介面28可包括接收器及/或數據機。目的地器件14之輸入介面28經由鏈路16而接收經編碼視訊資料。經由鏈路16而傳達或在儲存器件31上提供之經編碼視訊資料可包括由視訊編碼器20產生以由諸如視訊解碼器30之視訊解碼器用來解碼該視訊資料之多種語法元素。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器上之經編碼視訊資料中一起被包括。
顯示器件32可與目的地器件14整合，或在目的地器件14外部。在一些實例中，目的地器件14可包括整合式顯示器件，且亦經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中任一者，諸如，液晶顯示器(liquid crystal display,LCD)、電漿顯示器(plasma display)、有機發光二極體(organic light emitting diode,OLED)顯示器，或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據包括HEVC或其類似者之其他視訊壓縮標準而操作。Bross等人在2012年10月於中國上海召開之ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11之視訊寫碼聯合協作團隊(JCT-VC)第11屆會議中的「High Efficiency Video Coding(HEVC)text specification draft 9」中描述「HEVC工作草案9」或WD9，其仍可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/11_Shanghai/wg11/JCTVC- K1003-v8.zip下載，其全部內容係以引用方式併入本文中。然而，本發明之技術不限於任何特定寫碼標準或技術。
替代地，視訊編碼器20及視訊解碼器30可根據諸如以下各者之其他專屬或工業標準而操作：ITU-T H.264標準，替代地被稱作MPEG-4第10部分之進階視訊寫碼(AVC)；或此等標準之延伸。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
儘管圖1中未圖示，但在一些態樣中，視訊編碼器20及視訊解碼器30各自可與一音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或分離資料串流中之音訊及視訊兩者之編碼。適用時，在一些實例中，MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(user datagram protocol,UDP)之其他協定。
視訊編碼器20及視訊解碼器30各自可被實施為多種適合編碼器電路系統中任一者，諸如，一或多個微處理器、數位信號處理器(digital signal processor,DSP)、特殊應用積體電路(application specific integrated circuit,ASIC)、場可程式化閘陣列(field programmable gate array,FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體來實施該等技術時，一器件可將用於該軟體之指令儲存於一適合非暫時性電腦可讀媒體中，且使用一或多個處理器而以硬體來執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中每一者可包括於一或多個編碼器或解碼器中，該一或多個編碼器或解碼器中任一者可被整合為一各別器件中之結合式編碼器/解碼器(CODEC)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HEVC Test Model, HM)。HM假設視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述出，可將一視訊圖框或圖像劃分成包括明度樣本及色度樣本兩者的寫碼樹型單元(CTU)之序列，其亦被稱為最大寫碼單元(LCU)。樹型區塊具有與H.264標準之巨集區塊之目的相似的目的。一截塊包括按寫碼次序之數個連續樹型區塊。可將一視訊圖框或圖像分割成一或多個截塊。可根據四元樹(quadtree)而將每一樹型區塊分裂成若干寫碼單元(CU)。舉例而言，可將一樹型區塊(作為四元樹之根節點)分裂成四個子節點，且每一子節點又可為一父節點且被分裂成另外四個子節點。最後未分裂子節點(作為四元樹之葉節點)包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可被分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點，以及與寫碼節點相關聯之預測單元(prediction unit,PU)及變換單元(transform unit,TU)。CU之大小對應於寫碼節點之大小且為正方形形狀。CU之大小的範圍可為自8×8像素直至具有最大64×64像素或更大像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)將分割CU成一或多個PU。分割模式可視CU被跳過或直接模式編碼、被框內預測模式編碼抑或被框間預測模式編碼而不同。PU可被分割為非正方形形狀。與CU相關聯之語法資料亦可描述(例如)根據四元樹而將CU分割成一或多個TU。TU可為正方形或非正方形形狀。
HEVC標準允許根據TU之變換，該變換針對不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小來設定TU之大小，但可並非總是此狀況。TU通常為與PU之大小相同的大小，或小 於PU。在一些實例中，可使用被稱為「殘差四元樹」(residual quad tree,RQT)之四元樹結構而將對應於CU之殘差樣本再分成較小單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生變換係數，該等變換係數可被量化。
一般而言，PU包括與預測處理相關之資料。舉例而言，當PU被框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU被框間模式編碼時，PU可包括定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、用於運動向量之解析度(例如，四分之一像素精確度，或八分之一像素精確度)、運動向量所指向之參考圖像，及/或用於運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
一般而言，TU用於變換處理及量化處理。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘差值。該等殘差值包含可被變換成變換係數、被量化且使用TU而被掃描以產生序列化變換係數以供熵寫碼之像素差值。本發明通常使用術語「視訊區塊」以係指CU之寫碼節點。在一些特定狀況下，本發明亦可使用術語「視訊區塊」以係指包括寫碼節點以及PU及TU之樹型區塊，亦即，LCU或CU。
視訊序列通常包括一系列視訊圖框或圖像。一圖像群組(group of picture,GOP)通常包含該等視訊圖像中之一系列一或多個視訊圖像。GOP可在該GOP之標頭中、在該等圖像中之一或多者之標頭中或在別處包括語法資料，該語法資料描述包括於該GOP中之圖像之數目。一圖像之每一截塊可包括描述用於該各別截塊之編碼模式之截塊語法資料。視訊編碼器20通常對個別視訊截塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具 有固定或變化之大小，且其大小可根據一指定寫碼標準而不同。
作為一實例，HM支援以各種PU大小之預測。假定到特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小之框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援用於以2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU之一個方向未被分割，而另一方向被分割成25%及75%。對應於25%分割區的CU之部分係藉由「n」後面是「向上」、「向下」、「向左」或「向右」之指示而指示。因此，舉例而言，「2N×nU」係指被水平地分割之2N×2N CU，其中2N×0.5N PU位於頂部上且2N×1.5N PU位於底部上。
在本發明中，「N×N」與「N乘N」可被互換式地使用以係指視訊區塊在垂直維度及水平維度上之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊將在垂直方向上具有16個像素(y=16)且在水平方向上具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU進行框內預測性寫碼或框間預測性寫碼之後，視訊編碼器20可計算用於CU之TU之殘差資料。PU可包含位於空間域(亦被稱作像素域)中之像素資料，且TU可包含在將變換(例如，離散餘弦變換(discrete cosine transform,DCT)、整數變換(integer transform)、小波變換(wavelet transform)或概念上相似變換)應用於殘差視訊資料之後位於變換域中之係數。殘差資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括用於CU之殘差資料之TU，且接著變換該等TU以產生用於CU之 變換係數。
在進行任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化通常係指如下處理：量化變換係數以可能地縮減用以表示該等係數之資料之量，從而提供進一步壓縮。該量化處理可縮減與該等係數中之一些或全部相關聯之位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用一預定義掃描次序以掃描經量化變換係數，以產生可被熵編碼之序列化向量。在其他實例中，視訊編碼器20可執行一適應性掃描。在掃描經量化變換係數以形成一維向量之後，視訊編碼器20可熵編碼該一維向量，例如，根據上下文適應性可變長度寫碼(context adaptive variable length coding,CAVLC)、上下文適應性二進位算術寫碼(context adaptive binary arithmetic coding,CABAC)、以語法為基礎之上下文適應性二進位算術寫碼(syntax-based context-adaptive binary arithmetic coding,SBAC)、機率區間分割熵(Probability Interval Partitioning Entropy,PIPE)寫碼或另一熵編碼方法。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯之語法元素以由視訊解碼器30用來解碼該視訊資料。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派至待傳輸符號。該上下文可關於(例如)該符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸符號選擇可變長度碼。可將VLC中之碼字建構成使得相對較短碼對應於較可能符號，而較長碼對應於較不可能符號。以此方式，使用VLC相比於(例如)針對每一待傳輸符號使用等長碼字可達成位元節省。機率判定可基於被指派至符號之上下文。
一般而言，在一些例子中，將偏移值加至LCU或其他寫碼單元中之像素可改良寫碼。舉例而言，可將偏移值應用於經重新建構視訊區 塊之像素，以便補償照明變更、量化誤差，或更一般化地，使經解碼視訊資料更接近地類似於原始視訊資料。SAO技術允許相依於一像素(或區塊)之像素值而將不同偏移值應用於不同像素(或像素區塊)。可基於一像素之值來判定待應用於一像素之偏移值。舉例而言，若一像素具有位於第一頻帶內之值，則可將與該第一頻帶相關聯之偏移應用於該像素。若該像素具有位於第二頻帶內之值，則可將與該第二頻帶相關聯之偏移應用於該像素，對於所有頻帶係諸如此類。
在一種類型之SAO實施中，每一分割區(其由一LCU集合組成)可具有三種偏移類型(亦被稱為像素分類)中之一者。該三種偏移類型為：無偏移、以頻帶分類為基礎之偏移類型0/1，及以邊緣分類為基礎之類型EO0/EO1/EO2/EO3。EO0分類SAO可包括使用定位於當前像素左側及右側之周圍像素(在本文中亦被稱為「水平周圍(horizontal surrounding)」像素)來判定用於當前像素之邊緣索引值或其分量。EO1分類SAO可包括使用定位於當前像素上方及下方之周圍像素(在本文中亦被稱為「垂直周圍(vertical surrounding)」像素)來判定用於當前像素之邊緣索引值或其分量。EO2分類SAO可包括使用定位於當前像素左上方及右下方之周圍像素(在本文中亦被稱作定位為相對於當前像素成負45度)來判定用於當前像素之邊緣索引值或其分量。EO3分類SAO可包括使用定位於當前像素右上方及左下方之周圍像素(在本文中亦被稱作定位為相對於當前像素成45度)來判定用於當前像素之邊緣索引值或其分量。
如下文更詳細地所描述，本發明之態樣大體上係關於一種偏移映射處理，其中根據一縮放參數集合來縮放經解碼偏移值。本發明之技術係可由視訊編碼器20或視訊解碼器30執行。
圖2為說明可實施本發明所描述之SAO傳信技術之實例視訊編碼器20的方塊圖。視訊編碼器20可執行視訊截塊內之視訊區塊之框內寫 碼及框間寫碼。框內寫碼依賴於空間預測以縮減或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以縮減或移除視訊序列之鄰近圖框或圖像內之視訊的時間冗餘。框內模式(I模式)可指若干以空間為基礎之壓縮模式中任一者。諸如單向預測(P模式)或雙向預測(B模式)之框間模式可指若干以時間為基礎之壓縮模式中任一者。
在圖2之實例中，視訊編碼器20包括分割單元35、預測處理單元41、參考圖像記憶體64、求和器50、變換處理單元52、量化單元54，及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44，及框內預測處理單元46。對於視訊區塊重新建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60，及求和器62。亦可包括解區塊濾波器72以濾波區塊邊界，以自經重新建構視訊移除方塊效應假影(blockiness artifact)。如圖2所展示，視訊編碼器20亦包括額外迴路濾波器，包括SAO濾波器74及選用適應性迴路濾波器(adaptive loop filter,ALF)76。儘管解區塊濾波器72及SAO濾波器74以及選用ALF 76在圖2中被展示為迴路內濾波器，但在一些組態中，解區塊濾波器72、SAO濾波器74及選用ALF 76可被實施為迴路後濾波器。另外，在本發明之技術之一些實施中，可省略解區塊濾波器72及選用ALF 76中之一或多者。詳言之，由於在HEVC中不存在ALF 76，故將在用於HEVC之實施中省略ALF 76。
如圖2所展示，視訊編碼器20接收視訊資料，且分割單元35將該資料分割成視訊區塊。此分割亦可包括分割成截塊、圖標(tile)，或其他較大單元，以及(例如)根據LCU及CU之四元樹結構之視訊區塊分割。視訊編碼器20通常說明編碼待編碼視訊截塊內之視訊區塊的組件。該截塊可被劃分成多個視訊區塊(且可能地劃分成被稱為圖標之視訊區塊集合)。預測處理單元41可選擇複數個可能寫碼模式中之一 者，其可包括用於基於誤差結果(例如，寫碼率及失真位準)之當前視訊區塊之分割大小，諸如，複數個框內寫碼模式中之一者，或複數個框間寫碼模式中之一者。預測處理單元41可將所得的經框內寫碼區塊或經框間寫碼區塊提供至求和器50以產生殘差區塊資料，且將所得的經框內寫碼區塊或經框間寫碼區塊提供至求和器62以重新建構經編碼區塊以供用作參考圖像。
預測處理單元41內之框內預測處理單元46可執行當前視訊區塊相對於與當前待寫碼區塊相同之圖框或截塊中之一或多個相鄰區塊的框內預測性寫碼，以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44執行當前視訊區塊相對於一或多個參考圖像中之一或多個預測性區塊的框間預測性寫碼，以提供時間壓縮。
運動估計單元42可經組態以根據用於視訊序列之預定型樣來判定用於視訊截塊之框間預測模式。該預定型樣可將該序列中之視訊截塊指定為預測截塊(P截塊)、雙向預測截塊(B截塊)，或一般化P/B截塊(GPB截塊)。運動估計單元42及運動補償單元44可高度地整合，但出於概念目的而被分離地說明。由運動估計單元42執行之運動估計為產生運動向量之處理，該等運動向量估計用於視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖像內之視訊區塊之PU相對於參考圖像內之預測性區塊的位移。
預測性區塊為被發現為在像素差方面接近地匹配於待寫碼視訊區塊之PU的區塊，該像素差係可藉由絕對差總和(sum of absolute difference,SAD)、平方差總和(sum of square difference,SSD)或其他不同度量而判定。在一些實例中，視訊編碼器20可計算用於儲存於參考圖像記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像之四分之一像素位置、八分之一像素位置或其他分率像素位置的值。因此，運動估計單元42可執行相對於完全 像素位置及分率像素位置之運動搜尋，且以分率像素精確度來輸出運動向量。
運動估計單元42藉由比較經框間寫碼截塊中之視訊區塊之PU的位置與參考圖像之預測性區塊的位置來計算用於該PU之運動向量。參考圖像係可選自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)，該等參考圖像清單中每一者識別儲存於參考圖像記憶體64中之一或多個參考圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於藉由運動估計而判定之運動向量來提取或產生預測性區塊，從而可能地在次像素精確度上執行內插。在接收到用於當前視訊區塊之PU之運動向量後，運動補償單元44可在該等參考圖像清單中之一者中定位該運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘差視訊區塊，從而形成像素差值。像素差值形成用於區塊之殘差資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減去運算之組件。運動補償單元44亦可產生與視訊區塊及視訊截塊相關聯之語法元素以由視訊解碼器30用來解碼視訊截塊之視訊區塊。
框內預測處理單元46可對當前區塊執行框內預測，以作為由運動估計單元42及運動補償單元44執行之框內預測的替代方案，如上文所描述。詳言之，框內預測處理單元46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在分離編碼遍次期間使用各種框內預測模式來編碼當前區塊，且預測處理單元41可自經測試模式選擇適當框內預測模式或框間預測模式以供使用。舉例而言，框內預測處理單元46可使用針對各種經測試框內預測模式之速率-失真分析來計算速率-失真值，且在該等經測試模式當中選擇 具有最好速率-失真特性之框內預測模式。速率-失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊之原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測處理單元46可自失真及速率計算用於各種經編碼區塊之比率以判定哪一框內預測模式展現用於區塊之最好速率-失真值。
在任何狀況下，在選擇用於一區塊之框內預測模式之後，預測處理單元41可將指示用於該區塊之選定框內預測模式之資訊提供至熵編碼單元56。熵編碼單元56可根據本發明之技術來編碼指示選定框內預測模式之資訊。視訊編碼器20可在經傳輸位元串流組態資料中包括用於各種區塊之編碼上下文之定義，以及將用於該等上下文中每一者之最可能框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示，該位元串流組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱作碼字映射表)。
在預測處理單元41經由框間預測抑或框內預測而產生用於當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊來形成殘差視訊區塊。殘差區塊中之殘差視訊資料可包括於一或多個TU中，且應用於變換處理單元52。變換處理單元52使用諸如離散餘弦變換(DCT)或概念上相似變換之變換而將殘差視訊資料變換成殘差變換係數。變換處理單元52可將殘差視訊資料自像素域轉換至諸如頻域之變換域。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化變換係數以進一步縮減位元率。該量化處理可縮減與該等係數中之一些或全部相關聯之位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化單元54接著可執行包括經量化變換係數之矩陣之掃描。替代地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化變換係數。舉例而 言，熵編碼單元56可執行上下文適應性可變長度寫碼(CAVLC)、上下文適應性二進位算術寫碼(CABAC)、以語法為基礎之上下文適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在由熵編碼單元56進行之熵編碼之後，可將經編碼位元串流傳輸至視訊解碼器30，或封存經編碼位元串流以供視訊解碼器30稍後傳輸或擷取。熵編碼單元56亦可熵編碼用於正被寫碼之當前視訊截塊之運動向量及其他語法元素。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以在像素域中重新建構殘差區塊以供稍後用作參考圖像之參考區塊。運動補償單元44可藉由將殘差區塊加至該等參考圖像清單中之一者內的該等參考圖像中之一者的預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重新建構殘差區塊以計算次整數像素值以用於運動估計。求和器62將經重新建構殘差區塊加至由運動補償單元44產生之運動補償式預測區塊，以產生參考區塊以供儲存於參考圖像記憶體64中。
在儲存於記憶體64中之前，經重新建構殘差區塊係可由一或多個濾波器濾波。視需要，亦可應用解區塊濾波器72以濾波經重新建構殘差區塊，以便移除方塊效應假影。亦可使用其他迴路濾波器(在寫碼迴路中抑或在寫碼迴路之後)，以使像素轉變平滑或以其他方式改良視訊品質。此迴路濾波器之一項實例為SAO濾波器74。該參考區塊係可由運動估計單元42及運動補償單元44用作參考區塊，以框間預測後續視訊圖框或圖像中之區塊。
SAO濾波器74可以改良視訊寫碼品質之方式來判定用於SAO濾波之偏移值。改良視訊寫碼品質可(例如)涉及判定使經重新建構影像更接近地匹配於原始影像之偏移值。視訊編碼器20可(例如)運用不同偏移值而使用多個遍次來寫碼視訊資料，且出於包括於經編碼位元串流 中起見而選擇提供理想寫碼品質之偏移值，如基於(例如)速率-失真計算所判定。
在一些組態中，SAO濾波器74可經組態以應用一或多種類型之偏移，諸如，上文所描述之邊緣偏移。SAO濾波器74亦可有時應用無偏移，其自身可被視為第三類型之偏移。由SAO濾波器74應用之偏移類型可被明確地抑或隱含地傳信至視訊解碼器。當應用邊緣偏移時，可基於邊緣資訊來分類像素。
在一些實例中，如下文關於圖4更詳細地所描述，視訊編碼器20可執行一偏移映射處理，其中根據一縮放參數集合來縮放經解碼偏移值。
圖2之視訊編碼器20表示一種視訊編碼器之實例，該視訊編碼器經組態以：判定一第一邊緣索引，其中該第一邊緣索引包含用於一第一周圍像素之一明度分量之一邊緣索引；判定一第二邊緣索引，其中該第二邊緣索引包含用於一第二周圍像素之一明度分量之一邊緣索引；基於該第一邊緣索引及該第二邊緣索引來判定一第三邊緣索引，其中該第三邊緣索引包含用於一當前像素之一色度分量之一邊緣索引；基於該第三邊緣索引來選擇一偏移；及將該偏移應用於該當前像素之該色度分量。
圖3為說明可實施本發明所描述之SAO技術之實例視訊解碼器30的方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、反變換單元88、求和器90，及參考圖像記憶體92。預測處理單元81包括用於框間預測解碼之運動補償單元82，及用於框內預測解碼之框內預測處理單元84。在一些實例中，視訊解碼器30可執行與關於來自圖2之視訊編碼器20所描述之編碼遍次大體上互逆的解碼遍次。
在解碼處理期間，視訊解碼器30自視訊編碼器20接收表示經編 碼視訊截塊之視訊區塊及關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。視訊解碼器30可在視訊截塊層級及/或視訊區塊層級處接收語法元素。
當視訊截塊被寫碼為經框內寫碼(I)截塊時，預測處理單元81之框內預測處理單元84可基於經傳信框內預測模式及來自當前圖框或圖像之經先前解碼區塊之資料來產生用於當前視訊截塊之視訊區塊之預測資料。當視訊圖框被寫碼為經框間寫碼(例如，B、P或GPB)截塊時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素來產生用於當前視訊截塊之視訊區塊之預測性區塊。可自該等參考圖像清單中之一者內的該等參考圖像中之一者產生該等預測性區塊。視訊解碼器30可使用基於儲存於參考圖像記憶體92中之參考圖像之預設建構技術來建構參考圖框清單：清單0及清單1。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊截塊之視訊區塊之預測資訊，且使用該預測資訊以產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用一些經接收語法元素以判定用以寫碼視訊截塊之視訊區塊之預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、用於截塊之參考圖像清單中之一或多者的建構資訊、用於截塊之每一經框間編碼視訊區塊之運動向量、用於截塊之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊之其他資訊。
運動補償單元82亦可基於內插濾波器來執行內插。運動補償單元82可使用如由視訊編碼器20在視訊區塊之編碼期間所使用之內插濾 波器，以計算用於參考區塊之次整數像素之內插值。在此狀況下，運動補償單元82可自經接收語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器以產生預測性區塊。
反量化單元86反量化(亦即，解量化)位元串流中提供且由熵解碼單元80解碼之經量化變換係數。反量化處理可包括使用由視訊編碼器20針對視訊截塊中之每一視訊區塊所計算之量化參數，以判定量化程度且同樣地判定應被應用之反量化程度。反變換處理單元88將反變換(例如，反DCT、反整數變換或概念上相似反變換處理)應用於變換係數，以便在像素域中產生殘差區塊。
在預測處理單元81基於運動向量及其他語法元素來產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元88之殘差區塊與由運動補償單元82產生之對應預測性區塊進行求和來形成經解碼視訊區塊。求和器90表示執行此求和運算之組件。接著可由解區塊濾波器93、SAO濾波器94及選用ALF 95濾波藉由求和器90而形成之經解碼視訊區塊。選用ALF 95表示可自一些實施排除之選用濾波器。應注意，由於在HEVC中不存在ALF 95，故將在用於HEVC之實施中省略ALF 95。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體92中，參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖像記憶體92亦儲存經解碼視訊以供稍後呈現於諸如圖1之顯示器件32的顯示器件上。
在相關態樣中，SAO濾波器94可經組態以應用與上文所論述之SAO濾波器74所應用之濾波(例如，邊緣偏移及頻帶偏移)相同的濾波(例如，邊緣偏移及頻帶偏移)中之一或多者。
圖3之視訊解碼器30表示一種視訊解碼器之實例，該視訊解碼器經組態以：判定一第一邊緣索引，其中該第一邊緣索引包含用於一第一周圍像素之一明度分量之一邊緣索引；判定一第二邊緣索引，其中 該第二邊緣索引包含用於一第二周圍像素之一明度分量之一邊緣索引；基於該第一邊緣索引及該第二邊緣索引來判定一第三邊緣索引，其中該第三邊緣索引包含用於一當前像素之一色度分量之一邊緣索引；基於該第三邊緣索引來選擇一偏移；及將該偏移應用於該當前像素之該色度分量。
根據本發明之一或多個態樣，圖4及圖5分別展示具有位元深度適應性SAO偏移縮放器之編碼器及解碼器的方塊圖。可替代或結合上文所描述的圖2之視訊編碼器20或圖3之視訊解碼器30來實施圖4及圖5所展示之實例編碼器400及解碼器500。
參看圖4，編碼器400可包括各種組件，諸如，接收影像/視訊資料之預測處理單元410。預測處理單元410可以操作方式耦接至變換/量化單元412，變換/量化單元412以操作方式耦接至熵編碼器414及解量化/反變換單元416兩者，如所展示。熵編碼器414可提供經編碼視訊位元串流。反變換單元416可以操作方式耦接至預測補償器418，預測補償器418以操作方式耦接至解區塊濾波器420，解區塊濾波器420以操作方式耦接至SAO濾波器428及SAO參數估計器422兩者。SAO參數估計器422可以操作方式耦接至偏移按比例縮小器(down-scaler)424，偏移按比例縮小器424耦接至熵編碼器414及偏移按比例放大器(up-scaler)426兩者。偏移按比例放大器426可以操作方式耦接至SAO濾波器428，SAO濾波器428以操作方式耦接至參考圖像記憶體430，參考圖像記憶體430又以操作方式耦接至預測處理單元410。
應注意，編碼器400之許多組件對應於上文參看圖2所描述之編碼器20之組件。然而，在圖4之編碼器400之實例中，SAO參數估計器422結合偏移按比例縮小器424及偏移按比例放大器426而工作，以在將經估計偏移值應用於每一像素之前按比例縮小經估計偏移值且接著按比例放大經估計偏移值，以避免與解碼器(例如，圖5之解碼器500) 之失配。
參看圖5，解碼器500可包括各種組件，諸如，接收經編碼視訊位元串流之熵解碼單元510。熵解碼單元510可以操作方式耦接至偏移按比例放大器512及解量化/反變換單元514。偏移按比例放大器512可以操作方式耦接至SAO濾波器520。反變換單元514可耦接至預測補償單元516，預測補償單元516以操作方式耦接至解區塊濾波器518，解區塊濾波器518以操作方式耦接至SAO濾波器520，如所展示。SAO濾波器520可提供經解碼影像/視訊資料，且可以操作方式耦接至記憶體單元522，記憶體單元522以操作方式耦接至預測補償單元516，如所展示。
雖然解碼器500之許多組件對應於上文參看圖3所描述之解碼器30之組件，但相對於相鄰組件之配置及組態不同。另外，在圖5之解碼器500之實例中，包括與SAO濾波器520通信之偏移按比例放大器512。再次應注意，在圖4及圖5所展示之實例中，在編碼器400之側處，在將經估計偏移值應用於每一像素之前，首先按比例縮小且接著按比例放大經估計偏移值，以避免與解碼器500之失配。下文提供基於位元深度之偏移縮放之實例。
在一項實例中，針對每一色彩分量而運用靈活縮放比例來進行線性縮放係可由編碼器及/或解碼器(例如，SAO參數估計器422、偏移按比例縮小器424，及圖4之編碼器400之偏移按比例放大器426，及/或圖5之偏移按比例放大器512)執行。舉例而言，經寫碼/經解碼偏移值被線性地縮放，如在HEVC中一樣，但運用如下之指定縮放比例。該縮放比例針對每一色彩分量(或色彩分量群組，亦即，用於明度之一色彩分量，及用於色度之另一色彩分量)可不同。
offset_scaled=offset_coded<<scale_factor
在另一實施例中，HEVC函數 offset_scaled=offset_coded<<(bitDepth-Min(bitDepth,10))
應用於色度分量，而分離scale_factor用於明度分量，其中scale_factor可被明確地傳信，抑或針對給定位元深度可固定。
在另一實例中，針對每一色彩分量而運用靈活縮放比例來進行非線性縮放係可由編碼器及/或解碼器執行。經寫碼/經解碼偏移值係以非線性方式被縮放。以下C型碼說明可如何實施此非線性映射。
其中<<and>>分別為左側位元移位運算子及右側位元移位運算子。
應注意，以上實例中之迴圈係可與「offset_coded」之熵解碼程序進行組合，此情形可進一步縮減計算複雜性。以下表1展示當scale_factor=2時的根據此實例之經寫碼/經解碼偏移值及經縮放偏移值。
如上文且參看圖6所展示，可使用簡單移位運算及相加運算來執行非線性映射。為了充分地反映色調映射特性，可使用一表映射，其中一表含有經寫碼/經解碼偏移值及經縮放偏移值之一對一映射。亦可實施其他非線性映射。
舉例而言，如圖6所展示，可使用一分段線性映射，其中該映射之每一部分以不同斜率而為線性。舉例而言，可在「offset_coded」小於8時使用scale_factor為1之線性方程式(圖6中之跡線100)，且否則可使用為2之scale_factor(圖6中之跡線104)。
在另一實例中，可由編碼器及/或解碼器執行線性縮放與非線性縮放之組合。舉例而言，有可能針對給定位元深度及給定色彩分量選擇特定縮放技術及縮放比例。舉例而言，當位元深度大於10時，可運用為2之縮放比例將上文所指定之非線性縮放途徑應用於明度分量，而可運用為2之縮放比例將線性縮放應用於色度分量。
可明確地傳信用於每一色彩分量(或色彩分量群組)之縮放技術及縮放比例。舉例而言，可在序列參數集合(sequence parameter set,SPS)、圖像參數集合(picture parameter set,PPS)、截塊標頭或LCU/CTU之層級處傳信此等參數。在一項實例中，對於與HEVC工作草案版本1之回溯相容性，可在位元深度大於10時應用此等途徑。
在一些例子中，可執行非縮放。舉例而言，運用縮放比例0之上述線性縮放技術可意謂非縮放。在此狀況下，經寫碼/經解碼偏移值之值可與應用於每一像素之偏移值完全地相同。在一項實例中，偏移值範圍可不變更。在另一實例中，可增加偏移值範圍以涵蓋具有大量值之偏移值(例如，超過已定義或臨限量值之偏移值)。在一些例子中，可僅將非縮放應用於明度分量，而可將線性縮放(例如，如在HEVC或其類似者中所指定)應用於色度分量。在其他例子中，可將非縮放應用於明度分量及色度分量兩者。
在一些實例中，可執行用於邊緣偏移分類之像素值縮放。在此途徑中，可根據上文所描述之實例中之一者來縮放SAO偏移，且另外，可與SAO偏移相似地縮放在解區塊濾波器之後的像素值以判定邊緣偏移類別。
在HEVC中，可根據一邊緣形狀來定義五種邊緣類別。圖7說明該等邊緣類別中之四者(亦即，在頂行之四個邊緣形狀)，而不屬於此四種類別中之一者的其他邊緣形狀(例如，在底行之兩個邊緣形狀)可歸類於「其他」類別(類別0)。
為了判定邊緣類別，可比較相鄰像素以檢查或判定邊緣形狀。作為一項實例，可將相鄰像素相互計較，或比較相鄰像素與當前像素，以檢查所判定之邊緣形狀是否準確。在此途徑中，可以與SAO偏移之縮放相似的方式來縮放當前像素及相鄰像素。舉例而言，當位元深度大於10時，可將當前像素及相鄰像素線性地按比例縮小為 p'=p>>(bitDepth-Min(bitDepth,10))
其中p為在解區塊濾波之後的像素值。應注意，p'用以判定邊緣偏移類別，且偏移值被加至p。可在實施非線性縮放時執行相似操作。
圖8所展示之實例視訊編碼器800及圖9所展示之視訊解碼器900可用以進行上文所描述之像素縮放操作。圖8提供根據本發明之態樣的說明具有像素縮放器822之視訊編碼器800之實例的方塊圖。在一項實施中，像素縮放器822可以操作方式耦接至解區塊濾波器820及SAO濾波器830，如所展示。應注意，圖8所展示的編碼器800中除了像素縮放器822以外之組件係與圖4之編碼器400之組件相同。應進一步注意，編碼器800之組件可被稍微不同地配置，且像素縮放器822可與編碼器800之其他組件進行直接或間接通信。
圖9提供根據本發明之態樣的說明具有像素縮放器920之視訊解碼器900之實例的方塊圖。在一項實施中，像素縮放器920可以操作方式耦接至解區塊濾波器918及SAO濾波器922，如所展示。應注意，圖9所展示的解碼器900中除了像素縮放器920以外之組件係與圖5之解碼器500之組件相同。應進一步注意，解碼器900之組件可被稍微不同地配置，且像素縮放器918可與解碼器900之其他組件進行直接或間接通信。
在一些例子中，可結合或代替本發明所描述之其他實例編碼器/解碼器或其組件來使用圖8及圖9分別所展示之視訊編碼器800及視訊解碼器900或其變化。舉例而言，可運用圖2之視訊編碼器20來實施圖8所展示之視訊編碼器之組件(例如，像素縮放器822、SAO參數估計器824、偏移按比例縮小器826，及偏移按比例放大器828)，以進行本發明之技術。同樣地，可結合圖3之視訊解碼器30來使用圖9所展示之視訊解碼器之一或多個組件(例如，像素縮放器920及偏移按比例放大 器912)，以進行本發明之技術。
如本發明所描述，「視訊寫碼」可指視訊編碼及/或視訊解碼。此外，適用時，「視訊寫碼器」可指視訊編碼器(諸如，視訊編碼器20、400、800，或其變化)或視訊解碼器(諸如，視訊解碼器30、500、900，或其變化)。
圖10為根據本發明之一或多個態樣的說明用於SAO縮放之方法1000的流程圖。圖10所說明之步驟係可由諸如以下各者之視訊寫碼器執行：視訊編碼器(例如，圖4中之編碼器400，或圖8中之編碼器800)、視訊解碼器(例如，圖5中之解碼器500，或圖9中之解碼器900)，或其組件。
在一種途徑中，方法1000可涉及在區塊1010處判定用於應用於視訊資料以改良視訊資料中之信號振幅之重新建構之SAO濾波器的偏移值。區塊1010可涉及接收在CTU或其類似者之層級處傳信之偏移值。
方法1000可進一步涉及在區塊1020處針對視訊資料判定指示位元深度之第一值及指示縮放比例之第二值。區塊1020可涉及接收指示與視訊資料之至少一圖像相關聯之縮放比例之第二值，該第二值係在PPS或其類似者之層級處傳信。在替代方案中，或另外，區塊1020可涉及接收指示與視訊資料之圖像序列相關聯之位元深度之第一值。
方法1000可進一步涉及在區塊1030處基於將縮放比例應用於偏移值來提供經縮放偏移值。區塊1030可涉及藉由至少部分地基於縮放比例來非線性地縮放偏移值而提供經縮放偏移值。在替代方案中，或另外，區塊1030可涉及至少部分地基於與至少一色彩分量相關聯之給定位元深度來判定線性地抑或非線性地縮放至少一色彩分量。
在一項實例中，區塊1030可涉及基於分別與第一色彩分量群組及第二色彩分量群組相關聯之第一位元深度及第二位元深度來判定線 性地抑或非線性地縮放該第一群組及該第二群組。區塊1030可進一步涉及藉由以下方式來縮放至少一色彩分量：根據第一經縮放偏移值來線性地縮放視訊資料之第一色彩分量群組；及根據第二經縮放偏移值來非線性地縮放視訊資料之第二色彩分量群組。
方法1000可進一步涉及在區塊1040處根據經縮放偏移值來縮放視訊資料之至少一色彩分量。區塊1040可涉及縮放包含與視訊資料之區塊相關聯之明度值或至少一色度值中之一者的至少一色彩分量。
在方法1000係由視訊解碼器執行之一項實施例中，區塊1010、1020及/或1030係可由圖5中之解碼器500之熵解碼單元510(或圖9中之解碼器900之熵解碼單元910)執行。熵解碼單元510可經組態以藉由結合解碼器500中諸如預測補償單元516、解區塊濾波器518及/或SAO濾波器520之其他組件或其子組件而操作來執行區塊1010、1020及/或1030。區塊1040係可由偏移按比例放大器512或其類似者單獨地或結合解碼器500中諸如解區塊濾波器518、熵解碼單元510及/或SAO濾波器520之其他組件或其子組件而執行。
舉例而言，熵解碼單元510可經組態以藉由接收用於應用於視訊資料以改良視訊資料中之信號振幅或其類似者之重新建構之SAO濾波器520的經編碼偏移值來執行區塊1010。熵解碼單元510可經組態以藉由針對視訊資料判定指示位元深度之第一值及指示縮放比例之第二值且藉由基於熵解碼經編碼偏移值來提供經解碼偏移值而執行區塊1020。熵解碼單元510可經組態以藉由基於將縮放比例應用於經解碼偏移值來提供經縮放偏移值或其類似者而執行區塊1030。偏移按比例放大器512可經組態以藉由根據經縮放偏移值或其變化來縮放視訊資料之至少一色彩分量而執行區塊1040。
在方法1000係由視訊編碼器執行之另一實施例中，區塊1010、1020及/或1030係可由圖4中之編碼器400之SAO參數估計器422(或圖8 中之編碼器800之SAO參數估計器824)執行。SAO參數估計器422可經組態以藉由結合編碼器400中諸如熵寫碼器414、解區塊濾波器420、預測補償器418及/或SAO濾波器428之其他組件或其子組件而操作來執行區塊1010、1020及/或1030。區塊1040係可由偏移按比例縮小器424及偏移按比例放大器426執行。偏移按比例縮小器424及/或偏移按比例放大器426可經組態以藉由結合編碼器400中諸如熵寫碼器414、解區塊濾波器420、SAO參數估計器422及/或SAO濾波器428之其他組件或其子組件而操作來執行區塊1040。
舉例而言，SAO參數估計器422可經組態以藉由判定用於應用於視訊資料以改良視訊資料中之信號振幅或其類似者之重新建構之SAO濾波器428的偏移值來執行區塊1010。SAO參數估計器422可經組態以藉由針對視訊資料產生指示位元深度之第一值及指示縮放比例之第二值且藉由基於熵編碼偏移值來提供經編碼偏移值而執行區塊1020。SAO參數估計器422可經組態以藉由基於將縮放比例應用於經編碼偏移值來提供經縮放偏移值或其類似者而執行區塊1030。偏移按比例縮小器424及偏移按比例放大器426可經組態以藉由根據經縮放偏移值或其變化來縮放視訊資料之至少一色彩分量而執行區塊1040。
圖11提供根據本發明之一或多個態樣的說明可結合或獨立於方法1000而執行的用於邊緣偏移分類之像素值縮放之方法1100的流程圖。圖11所說明之步驟係可由諸如以下各者之視訊寫碼器執行：視訊編碼器(例如，圖8中之編碼器800)、視訊解碼器(例如，圖9中之解碼器900)，或其組件。
在一種途徑中，方法1100可涉及在區塊1110處基於將解區塊濾波器應用於視訊資料之至少一區塊來使與視訊資料中之至少一區塊相關聯之區塊邊緣平滑。方法1100可進一步涉及在區塊1120處至少部分地基於應用於偏移值之縮放比例來縮放至少一區塊之相鄰像素值群組。 方法1100可進一步涉及在區塊1130處至少部分地基於經縮放群組之邊緣形狀來識別邊緣偏移類別。方法1100可進一步涉及在區塊1140處基於經識別邊緣偏移類別來調整SAO濾波器。
在相關態樣中，提供一種用於視訊寫碼之裝置，該裝置包括一記憶體單元，該記憶體單元經組態以儲存視訊資料。該裝置可包括至少一處理器，該至少一處理器係與該記憶體通信，其中該至少一處理器可經組態以執行圖10中之區塊1010、1020、1030及/或1040。在替代方案中，或另外，該至少一處理器可經組態以執行圖11中之區塊1110、1120、1130及/或1140。
在另外相關態樣中，該裝置之該至少一處理器可包括一單機處理器及/或(若干)子組件處理器，該單機處理器及/或該(該等)子組件處理器包括於一視訊解碼器(例如，解碼器500或900)及/或一視訊編碼器(例如，編碼器400或800)之一或多個組件內。該裝置之該記憶體單元可經特定地組態以用於處理視訊資料。舉例而言，該記憶體單元可包括具有足夠大小及速度以在不減慢視訊寫碼處理之情況下處理、儲存及擷取視訊資料的一或多個固態磁碟機(solid state drive,SSD)及/或(若干)快閃記憶體組件。在一項實施中，該記憶體單元可包括用以加速由該記憶體單元對視訊資料進行之處理的記憶體多工組件、二維快取記憶體單元或其類似者。
在一或多項實例中，所描述功能係可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體而傳輸，且由以硬體為基礎之處理單元執行。電腦可讀媒體可包括：電腦可讀儲存媒體，其對應於諸如資料儲存媒體之有形媒體；或通信媒體，其包括(例如)根據一通信協定來促進電腦程式自一處至另一處之傳送的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)為非暫時性的 有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器件、磁碟儲存器件或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式之所要程式碼且可由電腦存取的任何其他媒體。又，任何連接可被適當地稱為電腦可讀媒體。舉例而言，若使用同軸纜線、光纜、雙絞線、數位用戶線(digital subscriber line,DSL)或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端來源傳輸指令，則同軸纜線、光纜、雙絞線、DSL或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體並不包括連接、載波、信號或其他暫時性媒體，而是有關於非暫時性有形儲存媒體。如本文所使用，磁碟及光碟包括緊密光碟(compact disc,CD)、雷射光碟(laser disc)、光學光碟(optical disc)、數位影音光碟(digital versatile disc,DVD)、軟性磁碟(floppy disk)及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各者之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如以下各者之一或多個處理器執行指令：一或多個數位信號處理器(DSP)、一般用途微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)，或其他等效整合或離散邏輯電路系統。因此，如本文所使用之術語「處理器」可指適合於實施本文所描述之技術之上述結構或任何其他結構中任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技 術可完全地實施於一或多個電路或邏輯元件中。
本發明之技術可實施於多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必要求藉由不同硬體單元而實現。實情為，如上文所描述，各種單元可組合於編碼解碼器硬體單元中，或藉由互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合且結合適合軟體及/或韌體而提供。已描述各種實例。此等實例及其他實例係在以下申請專利範圍之範疇內。
1100‧‧‧方法
1110‧‧‧區塊
1120‧‧‧區塊
1130‧‧‧區塊
1140‧‧‧區塊

Claims (27)

  1. 一種用於視訊解碼之裝置，其包含：一記憶體單元，其經組態以儲存基於一經編碼視訊串流之經重新建構視訊資料；一處理器，其與該記憶體單元通信，該處理器經組態以：在該經編碼視訊串流中接收用於應用於該經重新建構視訊資料一取樣適應性偏移(SAO)濾波器的一偏移值；當與一圖像參數集合(PPS)相關聯之視訊資料之一位元深度大於10位元時在該經編碼視訊串流之該PPS中接收用於該經重新建構視訊資料之一縮放比例，該縮放比例與該位元深度彼此獨立；基於將該縮放比例應用於該偏移值來提供一經縮放偏移值；經由將該經縮放偏移值加至該經重新建構視訊資料之一色彩分量而產生一經縮放色彩分量；及根據該經縮放色彩分量解碼該經重新建構視訊資料。
  2. 如請求項1之裝置，其中該處理器經進一步組態以接收在一寫碼樹型單元(CTU)之一層級處傳信之該偏移值。
  3. 如請求項1之裝置，其中該處理器經進一步組態以接收指示與該視訊資料之一圖像序列相關聯之該位元深度之一值。
  4. 如請求項1之裝置，其中該經縮放色彩分量包含與該經重新建構視訊資料之一區塊相關聯之一明度值或至少一色度值中之一者。
  5. 如請求項1之裝置，其中該處理器經進一步組態以基於線性地縮放該偏移值來提供該經縮放偏移值，該線性地縮放該偏移值係 至少部分地基於該縮放比例。
  6. 如請求項1之裝置，其中該處理器經進一步組態以基於非線性地縮放該偏移值來提供該經縮放偏移值，該非線性地縮放該偏移值係至少部分地基於該縮放比例。
  7. 如請求項1之裝置，其中該處理器經進一步組態以至少部分地基於與該經縮放色彩分量相關聯之一給定位元深度來判定線性地抑或非線性地產生該經縮放色彩分量。
  8. 如請求項1之裝置，其中該處理器經進一步組態以基於分別與一第一色彩分量群組及一第二色彩分量群組相關聯之一第一位元深度及一第二位元深度來判定線性地抑或非線性地縮放該第一群組及該第二群組。
  9. 如請求項8之裝置，其中該處理器經進一步組態以基於以下方式來產生該經縮放色彩分量：根據一第一經縮放偏移值來線性地縮放該視訊資料之一第一色彩分量群組；及根據一第二經縮放偏移值來非線性地縮放該視訊資料之一第二色彩分量群組。
  10. 如請求項1之裝置，其中該處理器經進一步組態以：基於將一解區塊濾波器應用於該視訊資料之至少一區塊來使與該視訊資料中之該至少一區塊相關聯之區塊邊緣平滑；至少部分地基於應用於該偏移值之該縮放比例來縮放該至少一區塊之一相鄰像素值群組；及至少部分地基於該經縮放群組之一邊緣形狀來識別一邊緣偏移類別；及基於該經識別邊緣偏移類別來調整該SAO濾波器。
  11. 如請求項1之裝置，其中該處理器經進一步組態以： 基於熵解碼該偏移值來提供一經解碼偏移值；及基於將該縮放比例應用於該經解碼偏移值來提供該經縮放偏移值。
  12. 一種解碼視訊資料之方法，該方法包含：在一經編碼視訊串流中接收用於應用於基於該經編碼視訊串流經重新建構之視訊資料之一取樣適應性偏移(SAO)濾波器的一經編碼偏移值；當與一圖像參數集合(PPS)相關聯之視訊資料之一位元深度大於10位元時在該經編碼視訊串流之該PPS中接收用於該經重新建構視訊資料之一縮放比例，該縮放比例與該位元深度彼此獨立；基於熵解碼該經編碼偏移值來提供一經解碼偏移值；基於將該縮放比例應用於該經解碼偏移值來提供一經縮放偏移值；經由將該經縮放偏移值加至該經重新建構視訊資料之一色彩分量而產生一經縮放色彩分量；及根據該經縮放色彩分量解碼該經重新建構視訊資料。
  13. 如請求項12之方法，其進一步包含接收在一寫碼樹型單元(CTU)之一層級處傳信之該偏移值。
  14. 如請求項12之方法，其中提供該經縮放偏移值包含至少部分地基於該縮放比例來線性地縮放該偏移值。
  15. 如請求項12之方法，其中提供該經縮放偏移值包含至少部分地基於該縮放比例來非線性地縮放該偏移值。
  16. 如請求項12之方法，其進一步包含：基於將一解區塊濾波器應用於該視訊資料之至少一區塊來使與該視訊資料中之該至少一區塊相關聯之區塊邊緣平滑； 至少部分地基於應用於該偏移值之該縮放比例來縮放該至少一區塊之一相鄰像素值群組；及至少部分地基於該經縮放群組之一邊緣形狀來識別一邊緣偏移類別；及基於該經識別邊緣偏移類別來調整該SAO濾波器。
  17. 一種用於編碼視訊資料之方法，該方法包含：在一經編碼視訊串流中傳信用於應用於經重新建構視訊資料之一取樣適應性偏移(SAO)濾波器的一偏移值；當與一圖像參數集合(PPS)相關聯之視訊資料之一位元深度大於10位元時在該經編碼視訊串流之該PPS中傳信用於該經重新建構視訊資料之一縮放比例，該縮放比例與該位元深度彼此獨立；基於熵編碼該偏移值來提供一經編碼偏移值；基於將該縮放比例應用於該經編碼偏移值來提供一經縮放偏移值；經由將該經縮放偏移值加至該經重新建構視訊資料之一色彩分量而產生一經縮放色彩分量；及根據該經縮放色彩分量編碼該經重新建構視訊資料。
  18. 如請求項17之方法，其進一步包含在一寫碼樹型單元(CTU)之一層級處傳信該偏移值。
  19. 如請求項17之方法，其進一步包含：基於將一解區塊濾波器應用於該視訊資料之至少一區塊來使與該視訊資料中之該至少一區塊相關聯之區塊邊緣平滑；至少部分地基於應用於該偏移值之該縮放比例來縮放該至少一區塊之一相鄰像素值群組；及至少部分地基於該經縮放群組之一邊緣形狀來識別一邊緣偏 移類別；及基於該經識別邊緣偏移類別來調整該SAO濾波器。
  20. 一種用於視訊編碼之裝置，其包含：用於在一經編碼視訊串流中傳信用於應用於經重新建構視訊資料之一取樣適應性偏移(SAO)濾波器的一偏移值的構件；用於當與一圖像參數集合(PPS)相關聯之一位元深度大於10位元時在該經編碼視訊串流之該PPS中傳信用於該經重新建構視訊資料之一縮放比例的構件，該縮放比例與該位元深度彼此獨立；用於基於將該縮放比例應用於該偏移值來提供一經縮放偏移值的構件；用於產生該重新建構視訊資料之一經縮放色彩分量的構件；及用於根據該經縮放色彩分量編碼該經重新建構視訊資料的構件。
  21. 如請求項20之裝置，其進一步包含用於在一寫碼樹型單元(CTU)之一層級處傳信該偏移值的構件。
  22. 如請求項20之裝置，其進一步包含：用於基於將一解區塊濾波器應用於該視訊資料之至少一區塊來使與該視訊資料中之該至少一區塊相關聯之區塊邊緣平滑的構件；用於至少部分地基於應用於該偏移值之該縮放比例來縮放該至少一區塊之一相鄰像素值群組的構件；及用於至少部分地基於該經縮放群組之一邊緣形狀來識別一邊緣偏移類別的構件；及用於基於該經識別邊緣偏移類別來調整該SAO濾波器的構 件。
  23. 一種包含程式碼之非暫時性電腦可讀媒體，該程式碼在被執行時使一裝置執行一處理，該處理包含：在一經編碼視訊串流中接收用於應用於基於該經編碼視訊串流經重新建構之視訊資料之一取樣適應性偏移(SAO)濾波器的一偏移值；當與一圖像參數集合(PPS)相關聯之視訊資料之一位元深度大於10位元時在該經編碼視訊串流之該PPS中接收用於該經重新建構視訊資料之一縮放比例，該縮放比例與該位元深度彼此獨立；基於將該縮放比例應用於該偏移值來提供一經縮放偏移值；經由將該經縮放偏移值加至該經重新建構視訊資料之一色彩分量而產生一經縮放色彩分量；及根據該經縮放色彩分量解碼該經重新建構視訊資料。
  24. 一種用於視訊編碼之裝置，其包含：一記憶體單元，其經組態以儲存視訊資料；一處理器，其與該記憶體單元通信，該處理器經組態以：在一經編碼視訊串流中傳信用於應用於經重新建構視訊資料之一取樣適應性偏移(SAO)濾波器的一偏移植；當與一圖像參數集合(PPS)相關聯之視訊資料之一位元深度大於10位元時在該經編碼視訊串流之該PPS中傳信用於該經重新建構視訊資料之一縮放比例，該縮放比例與該位元深度彼此獨立；基於將該縮放比例應用於該偏移值來提供一經縮放偏移值；經由將該經縮放偏移值加至該經重新建構視訊資料之一色彩分量而產生一經縮放色彩分量；及 根據該經縮放色彩分量編碼該經重新建構視訊資料。
  25. 如請求項24之裝置，其中該處理器進一步經組態以：基於熵編碼該偏移值來提供一經編碼偏移值；及基於將該縮放比例應用於該經編碼偏移值來提供一經縮放偏移值。
  26. 如請求項24之裝置，其中該經縮放色彩分量包含與該經重新建構視訊資料之一區塊相關聯之一明度值或至少一色度值中之一者。
  27. 如請求項24之裝置，其中該處理器進一步經組態以至少部分地基於該縮放比例基於線性地縮放該偏移值來提供該經縮放偏移值。
TW103112873A 2013-04-08 2014-04-08 基於位元深度之取樣適應性偏移縮放 TWI554081B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361809852P 2013-04-08 2013-04-08
US14/243,707 US10334253B2 (en) 2013-04-08 2014-04-02 Sample adaptive offset scaling based on bit-depth

Publications (2)

Publication Number Publication Date
TW201505421A TW201505421A (zh) 2015-02-01
TWI554081B true TWI554081B (zh) 2016-10-11

Family

ID=51654432

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103112873A TWI554081B (zh) 2013-04-08 2014-04-08 基於位元深度之取樣適應性偏移縮放

Country Status (8)

Country Link
US (1) US10334253B2 (zh)
EP (1) EP2984827B1 (zh)
JP (1) JP6301449B2 (zh)
KR (1) KR102318175B1 (zh)
CN (1) CN105165010B (zh)
BR (1) BR112015025642A2 (zh)
TW (1) TWI554081B (zh)
WO (1) WO2014168812A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
EP3026908A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and device for quantizing and de-quantizing a picture using scaling factors for chrominance based on luminance
EP3459248A1 (en) * 2016-05-19 2019-03-27 Dolby Laboratories Licensing Corporation Chroma reshaping for high dynamic range images
WO2017208549A1 (ja) * 2016-06-01 2017-12-07 ソニー株式会社 画像処理装置及び画像処理方法
US10623737B2 (en) * 2016-10-04 2020-04-14 Qualcomm Incorporated Peak sample adaptive offset
JP6814029B2 (ja) * 2016-11-22 2021-01-13 日本放送協会 ループフィルタ、符号化装置、復号装置、及びプログラム
EP3364656A1 (en) * 2017-02-15 2018-08-22 Thomson Licensing Method for sample adaptive offset coding
KR101985833B1 (ko) * 2017-03-22 2019-06-04 국방과학연구소 인루프 필터에 관한 영상 부호화 및 복호화 장치 및 방법
EP3643063A1 (en) * 2017-06-21 2020-04-29 Vid Scale, Inc. Adaptive quantization for 360-degree video coding
KR102432486B1 (ko) * 2017-11-22 2022-08-12 삼성전자주식회사 비디오 복호화 장치 및 이를 포함하는 컴퓨팅 시스템 및 비디오 복호화 방법
CN113545064B (zh) * 2019-03-04 2024-05-10 阿里巴巴集团控股有限公司 用于处理视频内容的方法和装置及计算机可读存储介质
US20220182633A1 (en) * 2019-03-15 2022-06-09 Mediatek Inc. Method and Apparatus of Latency Reduction for Chroma Residue Scaling
WO2021093801A1 (en) * 2019-11-14 2021-05-20 Beijing Bytedance Network Technology Co., Ltd. Coding of low bit-depth visual media data
KR102611423B1 (ko) * 2022-07-01 2023-12-07 주식회사 네패스 이미지 스케일링 장치 및 이미지 스케일링 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2840045A1 (en) * 2011-06-23 2012-12-27 Sharp Kabushiki Kaisha Offset decoding device, offset encoding device, image filter device, and data structure
TW201309036A (zh) * 2011-06-28 2013-02-16 Samsung Electronics Co Ltd 使用亮度成分影像的預測色度成分影像用的裝置與方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204333B2 (en) * 2007-10-15 2012-06-19 Intel Corporation Converting video and image signal bit depths
US9338475B2 (en) * 2008-04-16 2016-05-10 Intel Corporation Tone mapping for bit-depth scalable video codec
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US20120294353A1 (en) 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
CN102857746B (zh) 2011-06-28 2017-03-29 中兴通讯股份有限公司 环路滤波编解码方法及装置
US9231616B2 (en) 2011-08-05 2016-01-05 Broadcom Corporation Unified binarization for CABAC/CAVLC entropy coding
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
WO2013103893A1 (en) * 2012-01-05 2013-07-11 General Instrument Corporation Devices and methods for multipass sample adaptive offset coding
US9716882B2 (en) * 2012-01-05 2017-07-25 Google Technology Holdings LLC Devices and methods for sample adaptive offset coding and/or selection of edge offset parameters
US10666975B2 (en) * 2014-04-23 2020-05-26 Sony Corporation Image processing apparatus and image processing method
US10142642B2 (en) * 2014-06-04 2018-11-27 Qualcomm Incorporated Block adaptive color-space conversion coding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2840045A1 (en) * 2011-06-23 2012-12-27 Sharp Kabushiki Kaisha Offset decoding device, offset encoding device, image filter device, and data structure
TW201309036A (zh) * 2011-06-28 2013-02-16 Samsung Electronics Co Ltd 使用亮度成分影像的預測色度成分影像用的裝置與方法

Also Published As

Publication number Publication date
KR20150140729A (ko) 2015-12-16
CN105165010B (zh) 2019-05-31
CN105165010A (zh) 2015-12-16
BR112015025642A2 (pt) 2017-07-18
JP2016518770A (ja) 2016-06-23
EP2984827B1 (en) 2021-07-14
JP6301449B2 (ja) 2018-03-28
KR102318175B1 (ko) 2021-10-26
TW201505421A (zh) 2015-02-01
US10334253B2 (en) 2019-06-25
US20140301438A1 (en) 2014-10-09
EP2984827A1 (en) 2016-02-17
WO2014168812A1 (en) 2014-10-16

Similar Documents

Publication Publication Date Title
TWI554081B (zh) 基於位元深度之取樣適應性偏移縮放
KR102352638B1 (ko) 비디오 코딩 프로세스에서의 계수 레벨 코딩
TWI544787B (zh) 當跳過轉換時用於有損寫碼之內部預測模式
TWI540884B (zh) 在視訊寫碼中具有時間可擴充性支援之漸進式改良
US9667994B2 (en) Intra-coding for 4:2:2 sample format in video coding
TWI479869B (zh) 色調片段位準量化系數偏移及解塊
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
JP5833249B2 (ja) ビデオコーディングのための適応的な中心帯域オフセットフィルタ
US9883203B2 (en) Adaptive overlapped block motion compensation
JP5964448B2 (ja) コンテキスト適応型バイナリ算術コード化のためのコンテキスト削減
JP6162212B2 (ja) マージシグナリングおよびループフィルタオン／オフシグナリング
JP6177884B2 (ja) パラメータセットコーディング
JP2015508251A (ja) ビデオコーディングにおけるデブロッキングフィルタパラメータのシグナリング
JP2017519447A (ja) ビデオコーディングのためのイントラブロックコピーブロックベクトルシグナリング
JP2020039138A (ja) パレットモードコード化のためのエスケープ画素をコード化すること
JP2015516768A (ja) 変換係数コーディング
TWI523530B (zh) 導出最末位置寫碼之上下文以供視訊寫碼
JP2017513311A (ja) 残差差分パルス符号変調のための量子化プロセス
JP2015516770A (ja) ビデオコーディングにおける量子化行列のための均一粒度
KR20130129469A (ko) 비디오 코딩에서의 변환들
JP2015524216A (ja) 映像コーディングにおけるロスレスコーディングモード及びパルスコード変調（ｐｃｍ）モードのシグナリングの統一
US20140003532A1 (en) Wavefront parallel processing for video coding

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees