TWI520585B - 發信用於視訊寫碼之量化矩陣 - Google Patents

發信用於視訊寫碼之量化矩陣 Download PDF

Info

Publication number
TWI520585B
TWI520585B TW101141398A TW101141398A TWI520585B TW I520585 B TWI520585 B TW I520585B TW 101141398 A TW101141398 A TW 101141398A TW 101141398 A TW101141398 A TW 101141398A TW I520585 B TWI520585 B TW I520585B
Authority
TW
Taiwan
Prior art keywords
values
quantization matrix
downsampled
sampling
value
Prior art date
Application number
TW101141398A
Other languages
English (en)
Other versions
TW201334549A (zh
Inventor
瑞珍 雷克斯曼 喬許
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201334549A publication Critical patent/TW201334549A/zh
Application granted granted Critical
Publication of TWI520585B publication Critical patent/TWI520585B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Magnetic Ceramics (AREA)

Description

發信用於視訊寫碼之量化矩陣
本發明係關於資料寫碼，且更特定言之係關於用於寫碼視訊資料之技術。
本申請案主張以下各者之權利：2011年11月7日申請之美國臨時申請案第61/556,785號；2012年2月3日申請之美國臨時申請案第61/594,885號；2012年2月9日申請之美國臨時申請案第61/597,107號；及2012年3月1日申請之美國臨時申請案第61/605,654號，該等申請案中之每一者之全部內容係以引用方式併入本文中。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話、視訊電傳會議器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第十部分(進階視訊寫碼(AVC))定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述之視訊壓縮技術，以更有效率地傳輸、接收並儲存數位視訊資訊。
視訊壓縮技術包括空間預測及/或時間預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，視訊圖框或切片可分割成多個區塊。每一區塊可予以進一步 分割。框內寫碼(I)圖框或切片中之區塊係使用相對於同一圖框或切片中之相鄰區塊中之參考樣本的空間預測來編碼。框間寫碼(P或B)圖框或切片中之區塊可使用相對於同一圖框或切片中之相鄰區塊中之參考樣本的空間預測，或相對於其他參考圖框中之參考樣本的時間預測。空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。
經框間寫碼之區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼。經框內寫碼之區塊係根據框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，殘餘資料可自像素域變換至變換域，從而產生接著可被量化之殘餘變換係數。最初配置成二維陣列的經量化之變換係數可以特定次序加以掃描以產生變換係數之一維向量以用於熵寫碼。
一般而言，本發明描述發信量化矩陣之值。舉例而言，視訊編碼器可將量化矩陣之值劃分成至少值之第一子集及值之第二子集。視訊編碼器可將該第一子集之該等值作為語法元素編碼及發信。視訊解碼器可接收該第一子集之該等值之語法元素且解碼該等語法元素以產生該第一子集之該等值。在未接收該第二子集之該等值之情況下，視訊解碼器可根據該第一子集中之該等值預測該第二子集之該等值。
在本發明之一個實例中，一種編碼視訊資料之方法包含：產生包括複數個值之一量化矩陣；按一第一降頻取樣因數降頻取樣該量化矩陣中的一第一值集合以產生一第一降頻取樣值集合；按一第二降頻取樣因數降頻取樣該量化矩陣中的一第二值集合以產生一第二降頻取樣值集合；及產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流。
在本發明之另一實例中，一種解碼視訊資料之方法包含：在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣；按一第一升頻取樣因數升頻取樣該量化矩陣中的一第一降頻取樣值集合以產生一第一值集合；按一第二升頻取樣因數升頻取樣該量化矩陣中的一第二降頻取樣值集合以產生一第二值集合；及用該第一及該第二值集合反量化一變換係數區塊。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
本發明描述用於在視訊寫碼中發信量化矩陣之值之技術。量化矩陣可為包括複數個值之二維矩陣。作為說明，量化矩陣可用以縮放量化步長，該量化步長用於量化與用於視訊寫碼之變換單元相關聯之殘餘變換係數。可將量化參數(QP)指派給一變換係數區塊(諸如，一變換單元)以指定一量化步長。量化矩陣中之每一值對應於該區塊中之一 待量化之係數，且用以判定待應用於該係數之量化程度(給定QP值)。
詳言之，本發明提議用於降頻取樣量化矩陣之技術，使得僅需在經編碼視訊位元串流中傳輸及/或儲存較少的量化值。傳輸或儲存與視訊資料之區塊相關聯之整個量化矩陣可能需要大量位元，從而降低經寫碼視訊位元串流之頻寬效率。又，視訊解碼器可將整個量化矩陣儲存於記憶體中以供反量化程序使用。藉由利用本發明之技術降頻取樣量化矩陣，可在不實質上降低經寫碼視訊之品質的情況下節約位元。
在本發明中，將出於說明目的對視訊寫碼進行描述。本發明中所描述之寫碼技術亦可適用於其他類型之資料寫碼。數位視訊器件實施視訊壓縮技術以更有效率地編碼及解碼數位視訊資訊。視訊壓縮可應用空間(圖框內)預測及/或時間(圖框間)預測技術以減少或移除視訊序列中固有之冗餘。
應理解，術語「圖框」可與術語「圖片」互換地使用。換言之，術語「圖框」及「圖片」各自指代視訊之一部分，且圖框或圖片之順序顯示導致平滑播放。因此，在本發明使用術語「圖框」之例子中，本發明之技術不應被解釋為限於利用術語「圖框」之視訊寫碼技術或標準，且該等技術可擴展至其他標準(諸如，已開發標準、開發中標準或未來標準)或利用術語「圖片」之其他視訊寫碼技術。
典型視訊編碼器將原始視訊序列之每一圖框分割成被稱作「區塊」或「寫碼單元」之鄰接之矩形區域。此等區塊係以「框內模式」(I模式)或以「框間模式」(P模式或B模式)來編碼。
對於P模式或B模式，編碼器首先在由F ref 指示之「參考圖框」中搜尋類似於正被編碼之區塊的區塊。搜尋通常侷限於距待編碼之區塊不超過一特定空間位移的範圍。當最佳匹配(亦即，預測性區塊或「預測」)已被識別時，以二維(2D)運動向量(△x,△y)之形式表示最佳匹配，其中△x為在參考圖框中預測性區塊中之像素之位置相對於在待寫碼區塊中之該等像素之位置的水平位移且△y為在參考圖框中預測性區塊中之像素之位置相對於在待寫碼區塊中之該等像素之位置的垂直位移。
如下所述，將運動向量與參考圖框一起用以建構預測區塊F pred ：F pred (x,y)=F ref (x+△x,y+△y)像素在圖框中之位置由(x,y)指示。
對於以I模式編碼之區塊，預測區塊係使用空間預測根據同一圖框內的先前編碼之相鄰區塊來形成。對於I模式及P或B模式兩者，將預測誤差(亦即，正被編碼的區塊及預測區塊中的像素值之間的殘餘差異)表示為某一離散變換(諸如，離散餘弦變換(DCT))之加權基底函數之一集合。變換可基於不同大小之區塊(諸如，4×4、8×8或16×16及更大)而執行。變換區塊之形狀並非總為正方形。亦可 使用矩形形狀之變換區塊，例如，具有16×4、32×8等之變換區塊大小。
隨後量化權數(亦即，變換係數)。量化引入資訊之損失，且因而，經量化係數具有比原始變換係數低的精度。經量化之變換係數及運動向量為「語法元素」之實例。此等語法元素加上某一控制資訊形成視訊序列之經寫碼表示。亦可對語法元素進行熵寫碼，藉此進一步減少其表示所需要的位元之數目。熵寫碼為以藉由利用符號分佈之性質(某些符號比其他符號出現地更頻繁)最小化表示所傳輸或儲存符號(在本情況下為語法元素)所需之位元數目為目標之無損失操作。
壓縮比(亦即，用以表示原始序列及壓縮序列之位元數目的比)可藉由調整量化參數(QP)之值及量化矩陣中之值中之一者或兩者來控制，QP及量化矩陣皆可用以量化變換係數值。壓縮比可視所使用之熵寫碼方法而定。量化矩陣通常經設計使得矩陣中之量化值通常(但未必無例外地)在列(左至右)方向及行(上至下)方向兩者上增加。舉例而言，當一變換係數區塊自左上(0,0)角中之DC位置朝著該變換係數區塊之右下(n,n)角延伸至較高頻率係數時，量化矩陣中之對應值通常增加。此設計之原因在於，人類視覺系統(HVS)之對比敏感性函數(CSF)隨頻率增加而減小，在水平方向及垂直方向上均如此。
在解碼器中，當前圖框中之區塊係藉由首先以與編碼器中之方式相同的方式建構該區塊之預測且藉由將經壓縮預 測誤差添加至該預測而獲得。經壓縮預測誤差係藉由使用經量化係數對變換基底函數進行加權而發現。重建構之圖框與原始圖框之間的差異被稱為重建構誤差。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1中所展示，系統10包括源器件12，其經由通信頻道16將經編碼視訊傳輸至目的地器件14。經編碼視訊資料亦可儲存於儲存媒體34或檔案伺服器36上且可由目的地器件14按需要存取。當儲存至儲存媒體或檔案伺服器時，視訊編碼器20可將經寫碼視訊資料提供至另一器件(諸如，網路介面、緊密光碟(CD)、藍光或數位影音光碟(DVD)燒錄器或衝印設施器件，或其他器件)以用於將經寫碼視訊資料儲存至儲存媒體。同樣，與視訊解碼器30分離之器件(諸如，網路介面、CD或DVD讀取器或其類似者)可自儲存媒體擷取經寫碼視訊資料且將所擷取資料提供至視訊解碼器30。
源器件12及目的地器件14可包含包括以下各者之廣泛範圍之器件中之任一者：桌上型電腦，筆記型(亦即，膝上型)電腦，平板電腦，機上盒，諸如所謂智慧電話之電話手機，電視，攝影機，顯示器件，數位媒體播放器，視訊遊戲機，或其類似者。在許多情況下，此等器件可經配備以用於無線通信。因此，通信頻道16可包含無線頻道、有線頻道，或無線頻道及有線頻道之適合於傳輸經編碼視訊資料之組合。類似地，檔案伺服器36可由目的地器件14經由任何標準資料連接(包括網際網路連接)存取。此可包括 無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或無線頻道與有線連接之適合於存取儲存於檔案伺服器上之經編碼視訊資料之組合。
根據本發明之實例的用於發信量化矩陣之技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中(over-the-air)電視廣播、有線電視傳輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20、調變器/解調變器22及傳輸器24。在源器件12中，視訊源18可包括諸如視訊捕獲器件(諸如，視訊攝影機)、含有先前捕獲之視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋送介面及/或用於產生作為源視訊之電腦圖形資料之電腦圖形系統或此等源之組合之源。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之技術通常可適用於視訊寫碼，且可應用於無線及/或有線應用或將經編碼視訊資料儲存於本端碟片上之應用。
所捕獲、預先捕獲或電腦產生之視訊可由視訊編碼器20編碼。經編碼視訊資訊可根據諸如無線通信協定之通信標 準由數據機22調變，且經由傳輸器24傳輸至目的地器件14。數據機22可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。傳輸器24可包括經設計以用於傳輸資料的電路，包括放大器、濾波器及一或多個天線。
由視訊編碼器20編碼之所捕獲、預先捕獲或電腦產生之視訊亦可儲存至儲存媒體34或檔案伺服器36上以供稍後使用。儲存媒體34可包括藍光光碟、DVD、CD-ROM、快閃記憶體或用於儲存經編碼視訊之任何其他合適數位儲存媒體。儲存於儲存媒體34上之經編碼視訊可接著由目的地器件14存取以用於解碼及播放。雖然圖1中未展示，但在一些實例中，儲存媒體34及/或檔案伺服器36可儲存傳輸器24之輸出。
檔案伺服器36可為能夠儲存經編碼視訊且將該經編碼視訊傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件、本端磁碟機，或能夠儲存經編碼視訊資料且將經編碼視訊資料傳輸至目的地器件的任何其他類型之器件。經編碼視訊資料自檔案伺服器36之傳輸可為串流傳輸、下載傳輸或兩者之組合。檔案伺服器36可由目的地器件14經由任何標準資料連接(包括網際網路連接)存取。此可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機、乙太網路、USB等)或無線頻道與有線連接之適合於存取儲存於檔案伺服器上之經編碼 視訊資料之組合。
在圖1之實例中，目的地器件14包括接收器26、數據機28、視訊解碼器30及顯示器件32。目的地器件14之接收器26經由頻道16接收資訊，且數據機28解調變該資訊以產生供視訊解碼器30使用之經解調變位元串流。經由頻道16傳達之資訊可包括由視訊編碼器20產生以供視訊解碼器30在解碼視訊資料時使用之多種語法資訊。此語法亦可與儲存於儲存媒體34或檔案伺服器36上之經編碼視訊資料包括在一起。視訊編碼器20及視訊解碼器30中之每一者可形成能夠編碼或解碼視訊資料的各別編碼器-解碼器(CODEC)之部分。
顯示器件32可與目的地器件14整合或在目的地器件14外。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件32向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
在圖1之實例中，通信頻道16可包含任何無線或有線通信媒體(諸如，射頻(RF)譜或一或多個實體傳輸線，或無線與有線媒體之任何組合)。通信頻道16可形成基於封包之網路(諸如，區域網路、廣域網路，或諸如網際網路之全球網路)之部分。通信頻道16通常表示用於將視訊資料自源器件12傳輸至目的地器件14的任何合適通信媒體或不 同通信媒體之集合，包括有線或無線媒體之任何合適組合。通信頻道16可包括路由器、交換器、基地台或對促進自源器件12至目的地器件14之通信有用處之任何其他設備。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前在開發中之高效率視訊寫碼標準(HEVC))來操作，且可遵守HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，替代地稱為MPEG-4第十部分(進階視訊寫碼(AVC))之ITU-T H.264標準)或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體 之指令儲存於合適之非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。
對於根據目前由視訊寫碼聯合協作小組(JCT-VC)開發之新興HEVC標準之視訊寫碼，作為一個實例，可將視訊圖框分割成寫碼單元。寫碼單元(CU)通常指代一影像區域，該影像區域充當被應用各種寫碼工具以用於視訊壓縮之基本單元。CU通常具有指示為Y之明度分量及指示為U及V之兩個色度分量。視視訊取樣格式而定，U及V分量之大小可與Y分量之大小相同或不同(就樣本之數目而言)。CU通常為正方形，且可被認為類似於所謂巨集區塊(例如，根據諸如ITU-T H.264之其他視訊寫碼標準)。出於說明目的，將在本申請案中描述根據開發中的HEVC標準之當前提議態樣中之一些的寫碼。然而，本發明中所描述之技術對其他視訊寫碼程序(諸如，根據H.264定義之視訊寫碼程序，或其他標準或專屬視訊寫碼程序)可能有用處。
HEVC標準化努力係基於視訊寫碼器件之被稱為HEVC測試模型(HM)之模型。HM假定了視訊寫碼器件的相對於根據(例如)ITU-T H.264/AVC之器件之若干能力。舉例而言，儘管H.264提供九個框內預測編碼模式，但HM可提供多達35個框內預測編碼模式。HEVC之近期最新工作草案(WD)(在下文中被稱為HEVC WD7)可自2012年10月30起自 http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v6.zip獲得。
一般而言，HM之工作模型描述：視訊圖框或圖片可被劃分為包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之一序列。樹型區塊具有與H.264標準之巨集區塊類似之用途。切片以寫碼次序包括數個連續樹型區塊。視訊圖框或圖片可分割成一或多個切片。每一樹型區塊可根據四分樹分裂成多個寫碼單元(CU)。舉例而言，作為四分樹之根節點的樹型區塊可分裂成四個子節點，且每一子節點又可為上代節點且可分裂成另外四個子節點。作為四分樹之葉節點的最後未分裂之子節點包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點及與寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且其形狀必須為正方形。CU之大小可在8×8個像素直至具有64×64個像素或更多像素的最大值之樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式在CU以跳躍或直接模式編碼、以框內預測模式編碼或是以框間預測模式編碼之間可能不同。PU可被分割為非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方 形。
HEVC標準允許根據TU之變換，該等變換對於不同CU可能不同。通常基於針對經分割LCU定義之給定CU內的PU之大小來設定TU之大小，但情況可能並非始終如此。TU通常與PU大小相同或小於PU。在一些實例中，對應於CU之殘餘樣本可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而再分為較小單元。RQT之葉節點可被稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生變換係數，變換係數可被量化。
一般而言，PU包括與預測程序有關之資料。舉例而言，當PU係以框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU係以框間模式編碼時，PU可包括定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖片及/或運動向量之參考圖片清單(例如，清單0、清單1或清單C)。
一般而言，將TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個變換單元(TU)。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值，該等值可使用TU變換為變換係數，經量化並掃描以產生用於熵寫碼之串行化變換係數。本發明通常使用術語「視訊區塊」來指代CU之寫碼節點。在一些特定 情況下，本發明亦可使用術語「視訊區塊」來指代樹型區塊(亦即，LCU)或CU，其包括寫碼節點及PU及TU。
視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)通常包含一系列一或多個視訊圖片。GOP可包括在GOP之標頭、圖片中之一或多者之標頭中或別處的語法資料，其描述包括於GOP中之若干圖片。圖片之每一切片可包括描述各別切片之編碼模式之切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小上不同。
作為實例，HM支援按各種PU大小之預測。假設特定CU之大小為2N×2N，HM支援按2N×2N或N×N之PU大小之框內預測，及按2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援用於按2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU的一個方向未被分割，而另一方向經分割成25%及75%。CU之對應於25%分割區之部分係由「n」繼之以「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，舉例而言，「2N×nU」指代經水平分割而在頂部具2N×0.5N PU且在底部具2N×1.5NPU之2N×2NCU。
在本發明中，「N×N」及「N乘N」可互換地使用以指代視訊區塊在垂直尺寸及水平尺寸方面之像素尺寸，例 如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)，且在水平方向上將具有16個像素(x=16)。同樣，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M不必等於N。
在使用CU之PU的框內預測性寫碼或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域(亦被稱為像素域)中之像素資料，且TU可包含在對殘餘視訊資料應用變換(例如，離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換)之後在變換域中之係數。殘餘資料可對應於未經編碼之圖片之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料之TU，且接著變換TU以產生用於CU之變換係數。
在用以產生變換係數之任何變換之後，視訊編碼器20可執行變換係數之量化。量化通常指代量化變換係數以可能減少用以表示該等係數之資料量，從而提供進一步壓縮的程序。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在一些實例中，視訊編碼器20可利用預定義掃描次序來 掃描經量化之變換係數以產生可熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描該等經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對該一維向量進行熵編碼。視訊編碼器20亦可對與經編碼視訊資料相關聯之語法元素進行熵編碼以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可與(例如)符號之相鄰值是否係非零有關。為了執行CAVLC，視訊編碼器20可選擇用於待傳輸符號之可變長度碼。可建構VLC中之碼字，以使得相對較短之碼對應於機率較大之符號，而較長碼對應於機率較低之符號。以此方式，較之於(例如)將相等長度碼字用於待傳輸之每一符號，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文。
視訊編碼器20可在視訊寫碼程序中實施本發明之用於降頻取樣及發信量化矩陣之技術中之任一者或全部。同樣，視訊解碼器30可在視訊寫碼程序中實施用於升頻取樣量化矩陣之此等技術中之任一者或全部。如本發明中所描述，視訊寫碼器可指代視訊編碼器或視訊解碼器。類似地，視訊寫碼單元可指代視訊編碼器或視訊解碼器。同樣，視訊 寫碼可指代視訊編碼或視訊解碼。
在本發明之一個實例中，視訊編碼器20可經組態以：產生包括複數個值之一量化矩陣；按一第一降頻取樣因數降頻取樣該量化矩陣中的一第一值集合以產生一第一降頻取樣值集合；按一第二降頻取樣因數降頻取樣該量化矩陣中的一第二值集合以產生一第二降頻取樣值集合；且產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流。在一些實例中，降頻取樣因數可為一，在此情況下，直接對該等值進行寫碼而不降頻取樣。
在本發明之另一實例中，視訊解碼器30可經組態以：在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣；按一第一升頻取樣因數升頻取樣該量化矩陣中的一第一降頻取樣值集合以產生一第一值集合；按一第二升頻取樣因數升頻取樣該量化矩陣中的一第二降頻取樣值集合以產生一第二值集合；且用該第一及該第二值集合反量化一變換係數區塊。在一些實例中，升頻取樣因數可為一，在此情況下，直接對該等值進行寫碼而不升頻取樣。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊之框內及框間寫碼。框內寫碼依靠空間預測以減少或移除給定視訊圖框或圖片內之視訊中的空間冗餘。框間寫碼依靠時間預測以減少或移除視訊序列之鄰近圖框或圖片內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測 (P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中之任一者。
在圖2之實例中，視訊編碼器20包括分割單元35、預測處理單元41、參考圖片記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。預測處理單元41包括運動估計單元42、運動補償單元44及框內預測處理單元46。為了視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換處理單元60及求和器62。亦可包括一解區塊濾波器(圖2中未圖示)以對區塊邊界進行濾波以自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器通常可對求和器62之輸出進行濾波。除解區塊濾波器外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖2所示，視訊編碼器20接收視訊資料，且分割單元35將該資料分割成多個視訊區塊。此分割亦可包括分割成切片、方塊(tile)或其他較大單元，以及(例如)根據LCU及CU之四分樹結構的視訊區塊分割。視訊編碼器20通常說明編碼待編碼之視訊切片內之視訊區塊之組件。切片可劃分成多個視訊區塊(且可能劃分成被稱為方塊之視訊區塊之集合)。預測處理單元41可基於錯誤結果(例如，寫碼速率及失真程度)為當前視訊區塊選擇複數個可能寫碼模式中之一者(諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)。預測處理單元41可將所得之經框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構經編碼區塊以用作參考圖 片。
預測處理單元41內之框內預測處理單元46可相對於與待寫碼之當前區塊相同之圖框或切片中一或多個相鄰區塊執行當前視訊區塊之框內預測性寫碼以提供空間壓縮。預測處理單元41內之運動估計單元42及運動補償單元44相對於一或多個參考圖片中之一或多個預測性區塊執行當前視訊區塊之框間預測性寫碼以提供時間壓縮。
運動估計單元42可經組態以根據視訊序列之預定型樣判定用於視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指明為P切片、B切片或GPB切片。運動估計單元42及運動補償單元44可高度整合，但為概念目的而單獨說明。由運動估計單元42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖片內之視訊區塊之PU相對於參考圖片內之預測性區塊之位移。
預測性區塊為經發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，像素差可藉由絕對差之和(SAD)、平方差之和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖片記憶體64中之參考圖片之次整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖片之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計單元42可相對於完整像素位置及分數像素位置執行運動搜尋，且輸出具有分數像素精度之運動向量。
運動估計單元42藉由比較PU之位置與參考圖片之預測性區塊之位置來計算用於經框間寫碼之切片中的視訊區塊之PU的運動向量。參考圖片可選自第一參考圖片清單(清單0)或第二參考圖片清單(清單!)，該等清單中之每一者識別儲存於參考圖片記憶體64中之一或多個參考圖片。運動估計單元42將所計算出之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計判定之運動向量來提取或產生預測性區塊，可能執行至子像素精度之內插。在接收到用於當前視訊區塊之PU的運動向量時，運動補償單元44可在參考圖片清單中之一者中定位(locate)運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償單元44亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30在解碼視訊切片之視訊區塊時使用。
框內預測處理單元46可框內預測當前區塊，以作為如上所述的由運動估計單元42及運動補償單元44執行之框間預測之替代。詳言之，框內預測處理單元46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測處理單元46可(例如)在單獨編碼遍次期間使用各種框內預測模 式編碼當前區塊，且框內預測處理單元46(或在一些實例中，模式選擇單元40)可自經測試模式選擇適當框內預測模式來使用。舉例而言，框內預測處理單元46可使用對各種經測試框內預測模式之位元率失真分析計算位元率失真值，且在經測試模式中選擇具有最佳位元率失真特性之框內預測模式。位元率失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元率(亦即，位元之數目)。框內預測處理單元46可根據各種經編碼區塊之失真及位元率計算比率以判定哪一框內預測模式展現區塊之最佳位元率失真值。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測處理單元46可將指示用於區塊之選定框內預測模式之資訊提供至熵寫碼單元56。熵寫碼單元56可根據本發明之技術編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱為碼字映射表)、各種區塊之編碼上下文之定義及用於上下文中之每一者的最大機率框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測處理單元41經由框間預測抑或框內預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中 之殘餘視訊資料可包括於一或多個TU中且應用於變換處理單元52。變換處理單元52使用一變換(諸如，離散餘弦變換(DCT)或一概念上類似之變換)將殘餘視訊資料變換成殘餘變換係數。變換處理單元52可將殘餘視訊資料自像素域變換至諸如頻域之變換域。
變換處理單元52可將所得變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減小位元率。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。可藉由調整量化參數或藉由修改量化矩陣中之值來修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化變換係數之矩陣之掃描。或者，熵編碼單元56可執行該掃描。
在一些情況下，除了量化操作之外，量化單元54亦可執行變換後縮放操作。變換後縮放操作可結合由變換單元52執行之核心變換操作使用，以關於殘餘資料區塊有效率地執行完整之空間至頻率變換操作或其近似操作。在一些實例中，變換後縮放操作可與量化操作整合，以使得變換後操作及量化操作係作為關於待量化之一或多個變換係數的同一操作集合之部分而執行。
在一些實例中，量化單元54可基於量化矩陣來量化變換係數。量化矩陣可包括複數個值，該複數個值中之每一者對應於待量化之變換係數區塊中的複數個變換係數中之各別變換係數。量化矩陣中之該等值可用以判定待由量化單元54應用於變換係數區塊中之對應變換係數的量化量。舉 例而言，對於待量化之變換係數中之每一者，量化單元54可根據至少部分地由量化矩陣中之值中的對應於待量化之變換係數之各別值判定之量化量來量化各別變換係數。
在另外實例中，量化單元54可基於量化參數及量化矩陣來量化變換係數。量化參數可為可用以判定待應用於變換係數區塊之量化量的區塊層級參數(亦即，指派給整個變換係數區塊之參數)。在此等實例中，量化矩陣中之值及量化參數可一起用以判定待應用於變換係數區塊中之對應變換係數之量化量。換言之，量化矩陣可指定與量化參數一起可用以判定待應用於對應變換係數之量化量之值。舉例而言，對於變換係數區塊中之待量化之變換係數中之每一者，量化單元54可根據量化量來量化各別變換係數，該量化量係至少部分地由用於變換係數區塊之區塊層級量化參數(QP)及量化矩陣中之複數個係數特定值中的對應於待量化之變換係數之各別值判定。因此，量化矩陣為每一變換係數提供對應值，且將該值應用於QP以判定用於變換係數值之量化量。
在一些實例中，量化程序可包括類似於針對HEVC提議及/或由H.264解碼標準定義之程序中之一或多者的程序。舉例而言，為了量化變換係數之值(亦即，位準)，量化單元54可按量化矩陣中之對應值及按變換後縮放值對變換係數進行縮放。量化單元54可接著使經縮放變換係數移位一基於量化參數之量。在一些情況下，變換後縮放值可基於量化參數來選擇。亦可使用其他量化技術。
在一些實例中，量化單元54可使指示由量化單元54用於量化變換係數之量化矩陣的資料包括於經編碼位元串流中。舉例而言，量化單元54可將指示量化矩陣之資料提供至熵編碼單元56以用於對該資料進行熵編碼，且隨後置放於經編碼位元串流中。
包括於經編碼位元串流中之量化矩陣資料可由視訊解碼器30用於解碼該位元串流(例如，用於執行反量化操作)。在一些實例中，該資料可為索引值，其自一組量化矩陣識別一預定量化矩陣，或可識別用於產生量化矩陣之函數。在另外實例中，該資料可包括量化矩陣中所含之實際值。在額外實例中，該資料可包括量化矩陣中所含之實際值之經寫碼版本。舉例而言，量化矩陣之經寫碼版本可包括用於量化矩陣中之特定位置之降頻取樣值。在另一實例中，可基於如本發明中稍後更詳細描述之預測子(predictor)產生經寫碼版本。在一些實例中，該資料可採取指定由量化單元54用於量化對應於待寫碼之視訊區塊之變換係數區塊之量化矩陣的一或多個語法元素之形式，且量化單元54可使該一或多個語法元素包括於經寫碼視訊區塊之標頭中。
在諸如MPEG-2及AVC/H.264之先前標準中，如上所述，量化矩陣被用以改良主觀品質。量化矩陣亦可被包括作為HEVC標準之部分。
在HM5.1中，4×4、8×8、16×16及32×32之變換大小係可能的。32×32變換可用於明度，且可能僅用於明度(亦即，可能不用於色度分量)。允許有總共20個量化矩陣可為合 適的(亦即，針對Y、U及V分量用於4×4、8×8、16×16框內及框間預測區塊以及針對Y分量之32×32框內及框間預測之區塊的單獨量化矩陣)。因此，編碼器發信4064個量化矩陣值以便發信所有可能排列係可能的。在一些實例中，對量化矩陣輸入項之Z字形掃描，繼之以一階預測(例如，微分寫碼)及指數葛洛姆寫碼(其中參數=0))可用於無損失地壓縮量化矩陣。然而，歸因於量化矩陣係數之巨大數目，HEVC中可能需要較好壓縮方法。
量化矩陣通常被設計成利用人類視覺系統(HVS)。人類視覺系統通常對較高頻率下之量化誤差較不敏感。此設計之一個原因在於，人類視覺系統之對比敏感性函數(CSF)隨頻率增加而減小，在水平方向及垂直方向上均如此。因此，對於設計周到之量化矩陣，矩陣輸入項在列(左至右)方向及行(上至下)方向上皆增加。詳言之，當一變換係數區塊自左上(0,0)角中之DC位置朝著右下(n,n)角延伸至較高頻率係數時，量化矩陣中之對應值大體上增加或至少不減小。
在用於發信量化矩陣之先前技術中，對整個量化矩陣之所有值(亦即，係數)進行發信。然而，發信整個量化矩陣可能並非必需的，因為一些係數(諸如，朝向量化矩陣之右下角之係數)對視訊品質可能無實質貢獻。
作為一個實例，諸如32×32之較高區塊大小通常在殘餘區塊平滑時使用，其中殘餘區塊為視訊資料之實際區塊與視訊資料之預測區塊之間的差異。平滑之殘餘區塊展現殘 餘區塊內之值的小偏差。在此情況下，在量化之後，在經變換區塊之較高頻率下(亦即，朝向右下角)存在許多非零係數可能不太可能。
經編碼視訊序列之統計資料支援此假設。舉例而言，使用部分頻率變換技術(例如，對來自32×32區塊之最小16×16個係數進行編碼)展示寫碼效率之極小損失。此可被視為等效於為在該16×16區域外之頻率的量化矩陣輸入項選擇極高值(例如，為在該16×16區域外之頻率的量化矩陣係數選擇高值)。在此實例中，因為寫碼效率中可能存在極小損失，所以可能不必在經編碼視訊位元串流中發信所有32×32量化矩陣值(其為1024個值)。
以下描述量化矩陣之發信及寫碼實例。舉例而言，對於發信，視訊編碼器20可發信用以指示整個量化矩陣抑或僅量化矩陣之一子集經寫碼之一位元旗標。若該旗標指示整個量化矩陣經寫碼，則可使用任何寫碼方法，諸如HM5.1、AVC/H.264、JCTVC-F085、JCTVC-E073之寫碼方法，或以全文引用方式併入且將在下文更詳細論述的美國臨時專利申請案第61/547,647號中所描述之技術。
若該旗標指示僅量化矩陣之一子集正被寫碼(例如，第一子集)，則該子集之大小可經寫碼為一對值(last_row,last_col)。在此實例中，假設該子集為矩形的且覆蓋自位置(0,0)至位置(last_row,last_col)之量化矩陣輸入項。然而，可能使用其他形狀。亦可能將形狀限制為正方形，在此情況下，僅可能需要寫碼單一最後值，因為last_row值 及last_col值將相同。最後值(last_row、last_col)可用固定數目個位元進行寫碼，該固定數目可視量化矩陣之大小而定。舉例而言，對於32×32量化矩陣，最後值可使用5+5=10個位元進行寫碼。可能使用可變長度碼(諸如，指數葛洛姆碼或葛洛姆碼)來對最後值進行寫碼。
在對最後值(last_row、last_col)進行寫碼之後，可對屬於一子集之量化矩陣輸入項(例如，第一子集之值)進行寫碼。HM5.1方法或任何其他方法(諸如，AVC/H.264、JCTVC-F085、JCTVC-E073，或2012年10月11日申請之美國專利申請案第13/649,836號中所描述之技術)可用以對屬於該子集之量化矩陣輸入項進行寫碼。寫碼可為有損失或無損失的。
根據美國專利申請案第13/649,836號之技術，視訊編碼器20及視訊解碼器30可對量化矩陣之第一子集之值執行光柵掃描及用於寫碼預測誤差之非線性預測子技術。根據一實例技術，預測子為量化矩陣之第一子集中相對於量化矩陣中之當前掃描位置在左邊之值及在上方之值中的最大值。換言之，當以光柵次序掃描量化矩陣時，量化矩陣中之當前值係基於在當前值左邊之值及在當前值上方之值中的最大值而預測。光柵次序可通常指代按列自上至下且在每一列內自左至右地掃描量化矩陣中之值的次序。一般而言，量化矩陣中之值將對應於變換係數區塊中之各別變換係數，其中朝向左上方之係數為低頻率且接近右下方之係數在頻率上增加。
在對屬於一子集之量化矩陣輸入項之寫碼完成之後，可根據屬於第一子集之量化矩陣輸入項來預測量化矩陣輸入項之剩餘部分(例如，第二子集之係數值)。此程序可由編碼器及解碼器兩者進行。舉例而言，若屬於一子集之量化矩陣輸入項係以有損失方式寫碼，則重建構該等輸入項。接著，以一光柵掃描次序(作為一個實例)掃描在該子集外的量化矩陣輸入項(例如，第二子集之係數值)以預測第二子集之係數值。
在本發明之實例中，視訊編碼器20可經組態以發信量化矩陣之一子集之量化矩陣值。舉例而言，視訊編碼器可將量化矩陣劃分成至少量化矩陣值之第一子集及第二子集。視訊編碼器可編碼第一子集之係數值，且將此等經編碼值作為語法元素發信至視訊解碼器。視訊解碼器可根據所接收之語法元素解碼第一子集之該等係數值。
在本發明之一些實例中，視訊解碼器30可預測第二子集之值。舉例而言，在一些實例中，視訊編碼器20可能不必發信用以導出第二子集之量化矩陣係數值之語法元素，使得視訊解碼器可預測第二子集之該等值。實情為，視訊解碼器30可利用本發明之技術預測第二子集之該等值而不利用此等語法元素。以此方式，針對量化矩陣需要發信之資料量可減少。
作為一個實例，視訊解碼器30可基於量化矩陣值之第一子集的經解碼係數值來預測量化矩陣值之第二子集的係數值，如下文所更詳細論述。作為另一實例，為了預測量化 矩陣值之第二子集的該等值，視訊解碼器30可為第二子集中之每一係數指派一常數值，其中作為一個非限制性實例。該常數值可為最大可允許量化矩陣值。在一些實例中，視訊編碼器20可將該常數值發信至視訊解碼器，或替代地，視訊編碼器20及視訊解碼器30可用該常數值預先程式化。
圖4為說明實例量化矩陣之圖形圖。圖4說明量化矩陣94，其為用以量化殘餘變換係數之32×32區塊之32×32量化矩陣。雖然關於圖4之技術係在32×32量化矩陣之上下文中描述，但本發明之態樣不限於此且可擴展至其他大小的量化矩陣，包括非正方形量化矩陣。量化矩陣94包括第一子集96，該第一子集包括量化矩陣94之輸入項之值的一子集。在此實例中，第一子集96為8×8矩陣(包括左上角中之量化矩陣值A001及右下角中之量化矩陣值A232)，雖然其他大小(包括非正方形大小)係可能的。在此實例中，第一子集96之輸入項中之係數值可由視訊編碼器20編碼並發信。第一子集96之大小亦可經編碼並發信。大小可為第一子集96之最後列及最後行，即(7,7)，假設變數A001在量化矩陣94中位於(0,0)。因為此子集為正方形的，所以可能僅需要發信一個變數(例如，7)。對於非正方形子集，可編碼並發信最後列值及最後行值。
在一些實例中，第二子集98之輸入項之值可能未被用以預測第二子集98之輸入項之值。該第二子集尤其包括量化矩陣值A009、A257及A1024，且以點線為邊界。橢圓形表 示額外量化矩陣值且被用以減小圖之大小。換言之，可不利用根據第二子集之輸入項之係數值計算之語法元素而預測第二子集98之輸入項之值。在一些其他實例中，可根據自視訊編碼器接收之第二子集之降頻取樣值判定第二子集98之輸入項之值，如下文中將更詳細論述。
在一些實例中，第二子集98之輸入項之值可為在一特定值上方之量化矩陣值中的最大值或在該特定值左邊之量化矩陣值中的最大值。若不存在左邊或上方值，則假設左邊或上方值為零。舉例而言，為了預測量化矩陣之第二子集之係數值，視訊編碼器20或視訊解碼器30可將第二子集之在座標位置[x,y]處的當前輸入項之係數值設定為在量化矩陣中座標位置[x-1,y]處的在左邊之輸入項之係數值及在量化矩陣中座標位置[x,y-1]處的在上方之輸入項之係數值中的較大者(假設在n乘n量化矩陣中左上角為[0,0]且右下角為[n,n])。
在一些實例中，第一子集96之輸入項之值可以光柵掃描次序預測；然而，可使用其他掃描次序。在此實例中，並非發信量化矩陣之值本身，發信當前量化矩陣值與沿著光柵掃描次序的前一量化矩陣值之間的差異。由於量化矩陣值通常在水平方向及垂直方向上增加，故所提議預測子(亦即，上方及左邊的量化矩陣值)之預測誤差(亦即，當前量化矩陣值與沿著掃描次序的前一量化矩陣值之間的差異)幾乎總為非負的。應注意，此所提議預測方案在使用不對稱量化矩陣時適用，而基於Z字形之掃描不會如此有 效。
在一些實例中，使用葛洛姆碼編碼預測誤差。葛洛姆碼參數可由編碼器包括於經編碼視訊位元串流(使用固定或可變長度碼)中或可為編碼器及解碼器兩者所知。可能使用其他方法(諸如，指數葛洛姆寫碼)來編碼預測誤差。歸因於預測誤差之稍微散佈性質，可能需要葛洛姆碼。為了能夠編碼偶然之負值，可使用再映射(remapping)方法。
在一些實例中，第二子集之預測係數值中之一或多者可根據第二子集之其他預測係數值來預測。舉例而言，量化矩陣中亦為第二子集之部分的輸入項之係數值可在第二子集中之當前輸入項上方，且量化矩陣中亦為第二子集之部分的輸入項之係數值可在第二子集中之當前輸入項的左邊。在此實例中，可用以預測當前輸入項之係數值的輸入項之係數值可為預測值本身，因此此等輸入項亦為第二子集之部分，且第二子集之輸入項之係數值可全部被預測。視訊編碼器20及視訊解碼器30可使用此程序來導出在子集外(例如，在第二子集中)的所有量化輸入項。在圖5及圖6中說明了說明量化矩陣及重建構之量化矩陣的圖形圖，且在下文予以更詳細描述。
回頭參看圖4，作為一個實例，第二子集98之係數A009之值被預測為等於第一子集96之係數A008，因為在A009上方無值可用。第二子集98之係數A257之值被預測為等於第一子集96之係數A225，因為在A257左邊無值可用。第二子集98之係數A042之值被預測為係數A010及係數 A041(均屬於第二子集98)之值中之較大者。在此實例中，係數A010及A041之值為預測值，因為兩個係數皆在第二子集98中。
圖5為說明具有可使用根據上述技術之預測發信之實例值之量化矩陣的圖形圖。圖6為說明利用本發明之一或多個實例技術的重建構之量化矩陣之圖形圖。舉例而言，出於說明目的，圖5說明量化矩陣100，其為8×8矩陣。在此實例中，視訊編碼器20可發信量化矩陣100中之最初5×5個輸入項之值(以粗線展示)。舉例而言，在此實例中，量化矩陣100之第一子集101為最初5×5個值，其意謂：在此實例中，last_row及last_col之值各為4(假設基於零之索引)。因為第一子集101為正方形的，所以視訊編碼器20可僅發信值5(例如，由於last_row值及last_col值相同)。量化矩陣100中之剩餘值(亦即，第一子集101外之值)被視為在第二子集中。
圖6說明重建構之量化矩陣102。在此實例中，視訊解碼器30(或重建構迴路中之視訊編碼器20)可利用實例技術中之一者來產生重建構之量化矩陣102。舉例而言，視訊解碼器30及視訊編碼器20可利用藉由使用相對於當前係數在左邊之係數與相對於當前係數在上方之係數之間的最大值判定量化矩陣值之第二子集之值的技術。
重建構之量化矩陣102說明此技術之結果。舉例而言，第一子集103中之最初5×5個輸入項與量化矩陣100中的第一子集101中之最初5×5個輸入項相同，因為此等值經顯式 發信。剩餘值(例如，在第一子集103外的第二子集之值)係根據判定相對於當前係數在上方之係數及在左邊之係數中的最大值而導出。
在一些實例中，替代上文所描述之預測及光柵掃描，可使用其他掃描及/或預測。或者，在子集外的量化矩陣輸入項(例如，第二子集之係數值)可經設定為一常數值，諸如最大可允許量化矩陣值。此常數值可在位元串流中自視訊編碼器發信至視訊解碼器，或視訊編碼器及視訊解碼器可用該常數值預先程式化。
在一些實例中，視訊編碼器20可預測第二子集中之值，與視訊解碼器30所執行者類似。舉例而言，視訊編碼器20可預測第二子集之值，且用第二子集之預測值替換第二子集中之值。以此方式，在視訊編碼器側及視訊解碼器側使用之量化矩陣可能相同。
在一些視訊寫碼實例中，使用量化矩陣值之常數值或來自第一子集之預測來判定未顯式地發信的量化矩陣輸入項(亦即，在(0,0)至(last_row,last_col)的矩形外的彼等輸入項，第二子集之值)可能並不足夠。以下描述用於發信量化矩陣值之其他實例，諸如，使用一不同矩陣之值及使用降頻取樣值來判定第二子集之值。
作為一個實例，未顯式地發信之輸入項(例如，第二子集之值)係自一不同矩陣(例如，一大小較小之量化矩陣)導出。作為一個實例，此大小較小之量化矩陣可能已在視訊編碼器發信之位元串流中寫碼。在一些實例中，該不同矩 陣可為一量化矩陣。視訊編碼器20可能先前已發信此不同矩陣。
舉例而言，視訊編碼器可發信不同量化矩陣(諸如，具有包括4×4、8×8、16×16或32×32之大小之量化矩陣)之值。在此實例中，視訊解碼器30可利用來自先前在位元串流中編碼之量化矩陣中任一者之係數值來重建構當前量化矩陣。舉例而言，假設待重建構之量化矩陣為一32×32量化矩陣。在此實例中，視訊編碼器20可發信該32×32量化矩陣之一第一子集之係數值。假設視訊解碼器已接收到大小為4×4、8×8或16×16之量化矩陣，視訊解碼器可利用4×4、8×8或16×16之量化矩陣來判定第二子集之值從而重建構32×32量化矩陣。
在一些實例中，可能使用4×4、8×8或16×16量化矩陣中之任一者重建構該32×32量化矩陣。舉例而言，為了重建構該32×32量化矩陣，視訊解碼器30可使用8×8量化矩陣，且8×8量化矩陣可為將4×4量化矩陣用於重建構的重建構之量化矩陣。然而，量化矩陣之此等分層重建構可能並非在每個實例中皆為必需的。舉例而言，視訊編碼器20可發信由視訊解碼器30用來重建構32×32量化矩陣的整個8×8量化矩陣。可發信32×32量化矩陣之值中之一些，而可根據較小矩陣中之一或多者重建構其他值。
另外，在一些實例中，視訊編碼器可發信較小矩陣(例如，第一子集)之大小。在另一實例中，視訊解碼器30及視訊編碼器20可用較小矩陣之大小預先程式化(例如，較 小矩陣之大小可能事前為視訊編碼器20及視訊解碼器30所知)。
作為一個特定實例，假設：量化矩陣為32×32，且last_row=14，且last_col=14。在此實例中，視訊編碼器20發信32×32量化矩陣中之最低的15×15個輸入項之值。假設視訊解碼器30正在推導具有索引(r,c)之矩陣輸入項之值，其中r>=15或c>=15。在此實例中，為了推導量化矩陣值，視訊解碼器可使用來自可為大小較小之量化矩陣之不同矩陣(例如，8×8矩陣)之值。
視訊解碼器30可利用不同方式將大小較小之量化矩陣用於判定第二子集之值。舉例而言，視訊解碼器可判定量化矩陣之大小與不同之大小較小矩陣之大小之間的比。視訊解碼器30可用該比劃分量化矩陣內的值經判定之輸入項(例如，第二子集中之輸入項之值)之位置座標，且使用頂值函數及底限函數來判定在不同之大小較小矩陣中之對應位置。視訊解碼器30可接著使用不同之大小較小矩陣中的對應於不同之大小較小矩陣內之經識別位置之值來判定在正被重建構之量化矩陣中的第二子集之值。
舉例而言，令指示N×N大小的重建構之量化矩陣在位置(r,c)處之值，其中r為列索引且c為行索引。令r L -floor(r/4)，r H =ceil(r/4)，c L =floor(c/4)，且c H =ceil(c/4)，其中因數4係作為(32/8)而導出。此處，floor(x)指示小於或等於x之最大整數。類似地，ceil(x)指示大於或等於x之最小整數。接著，可將設定為，或可將設定為 、、及之平均值。若整個8×8量化矩陣被發送至解碼器，則重建構之8×8矩陣與原始8×8量化矩陣相同。可使用雙線性內插法或其他更複雜之內插技術及/或較長之內插濾波器。藉以導出缺失值之矩陣大小可在位元串流中予以發信或事前為視訊編碼器及視訊解碼器所知。較小矩陣(例如，第一子集)之值亦可包括於位元串流中。
在AVC/H.264中，使用Z字形掃描及微分脈碼調變(DPCM，亦即，自掃描次序中之最後值進行預測)。接著，若量化矩陣值經寫碼為零，則此指示：不再有量化矩陣值要被寫碼且重複最後之經寫碼正量化矩陣值。在此情況下，替代重複最後之經寫碼量化矩陣值，可自較小大小之量化矩陣導出剩餘量化矩陣值，如較早所描述。
如上所述，在一些實例中，視訊解碼器30可在不接收基於第二子集之值的任何語法元素的情況下判定第二子集之值。然而，避免發信第二子集中之量化矩陣值可能並非在每個實例中皆為有益的。亦即，發信量化矩陣之較高頻率分量之至少某些量化矩陣值(例如，值之第二子集中之彼等值)可提供寫碼效率與重建構之量化矩陣中之錯誤之間的較好取捨。
在本發明之另一實例中，如下文將更詳細地描述，視訊編碼器20可降頻取樣量化矩陣值之一子集之值，且發信該等降頻取樣值。視訊解碼器可升頻取樣該等降頻取樣值以判定在視訊解碼器側重建構量化矩陣所需之值。與原始值 相比，該等降頻取樣值中可存在較少量之資料，且藉由發信該等降頻取樣值，可減小針對量化矩陣所發信之資料量。
在降頻取樣之一個實例中，量化矩陣之一子集(例如，自(0,0)至(last_row,last_col))外的值(亦即，第二子集中之值)可按特定因數(例如，2)進行降頻取樣，且可以無損失方式在位元串流中對降頻取樣值進行寫碼。任何寫碼方法(諸如，AVC/H.264、JCTVC-F085、JCTVC-E073中所描述之寫碼方法，或美國專利申請案第13/649,836號中所描述之技術)可用以寫碼降頻取樣值。使用簡單平均(例如，N×N區域中之量化矩陣值之平均)或使用更複雜濾波器及/或方程式來執行降頻取樣。視訊編碼器20及視訊解碼器30皆可使用經寫碼值之升頻取樣來產生第一子集外的值(例如，第二子集之值)。升頻取樣技術可使用簡單的像素複製(亦即，使用降頻取樣區域內之所有座標之降頻取樣值)或更複雜的技術。舉例而言，可以類似於降頻取樣影像之方式處理降頻取樣量化矩陣值。接著，此項技術中已知的用於執行影像升頻取樣之技術(諸如，雙線性內插法、雙三次內插法等)可用於對降頻取樣量化矩陣進行升頻取樣。
如上所述，視訊編碼器20可顯式地發信第一子集之係數值，且使用某一形式之預測判定第二子集之係數值。在以下實例中，並非發信第一子集之係數值及藉由預測判定第二子集之值，以下技術可允許視訊編碼器產生以不同位準 之粗度發信量化矩陣之係數值的經寫碼位元串流。舉例而言，對應於量化矩陣之較低頻率分量之係數值可以無損失方式(亦即，顯式地)發信，且其他係數值(例如，在第二子集、第三子集等中)可以越來越粗略之方式發信(例如，藉由使用不同降頻取樣因數)。對應於較低頻率位置之係數值通常位置最接近量化矩陣之原點(例如，係數值之列索引及行索引最接近(0,0))。一般而言，以下技術允許視訊編碼器基於量化矩陣值位於量化矩陣中何處而將非均勻量之降頻取樣應用於量化矩陣值。
本實例之技術可提供一方案，藉由該方案，與位置較接近量化矩陣之原點之係數值相比，較粗糙地近似位置距量化矩陣之原點較遠之係數值。在本實例中，所近似之量化矩陣值(例如，在第二及/或第三子集或更大子集中)可在位元串流中進行寫碼並被發信。
然而，在一些替代實例中，可能對第一子集之係數值利用以下技術，其中該第一子集類似於上文所描述之第一子集。在此等替代實例中，該等技術可使用以上實例技術中之任一者判定第二子集之係數值。
舉例而言，對於位於靠近量化矩陣之原點之區域中(例如，在接近(0,0)之第一子集中)之量化矩陣值，視訊編碼器20可不應用降頻取樣(亦即，應用降頻取樣因數1)。在此區域中，所有量化矩陣值皆被發信。若量化矩陣中之係數值之位置距量化矩陣之原點較遠(例如，在第一子集外的第二子集中)，則視訊編碼器20可應用一較高位準之降頻 取樣(例如，應用降頻取樣因數2、3、4等)。大於1之降頻取樣因數可指示藉由一個值表示之係數值之數目。作為一個實例，降頻取樣因數2可意謂：當將像素複製用於重建構時，量化矩陣之22(亦即，4)個係數值可由每一經編碼值來表示。類似地，降頻取樣因數4可意謂：當將像素複製用於重建構時，量化矩陣之24(亦即，16)個係數值可由每一經編碼值來表示。
如上文所論述，根據降頻取樣因數計算出之值可為簡單平均值。舉例而言，在編碼器側，對於降頻取樣因數2，2×2正方形中之四個量化矩陣值被平均，且彼等四個量化矩陣值之平均值被發信。同樣，若降頻取樣因數為4，則4×4正方形中之十六個量化矩陣值被平均，且彼等十六個量化矩陣值之平均值被發信。其他更複雜之方程式或濾波器技術可用以計算降頻取樣值。
在一些實例中，視訊編碼器20可確立量化矩陣內之降頻取樣轉變點(例如，邊界)。根據一第一降頻取樣因數(其可能低至一，此意謂無降頻取樣)對量化矩陣中位於第一轉變點與量化矩陣之原點之間的係數值進行降頻取樣，可按一第二降頻取樣因數對量化矩陣中位於第一轉變點與第二轉變點之間的係數值進行降頻取樣，可按一第三降頻取樣因數對量化矩陣中位於第二轉變點與第三轉變點之間的係數值進行降頻取樣，等。在一些實例中，在每一轉變點降頻取樣因數改變之量可為非均勻的；儘管本發明之態樣不限於此。
舉例而言，在一些實例中，指示量化矩陣值之子集之位置的語法元素可能未包括於位元串流中。實情為，在視訊編碼器及解碼器兩者處事前知道該等區域之位置。使用降頻取樣因數1可等效於發送所有值，如在先前實例中對低頻率子集值所做的(例如，低頻率子集值指代位置最接近量化矩陣之原點之值)。另外，對於使用大於1之降頻取樣因數之其他區，可將額外量化矩陣值包括於位元串流中。在圖7中對於16×16區塊展示了此額外量化矩陣值的一個實例。
在圖7之實例中，若列索引及行索引皆在0<=索引<=3之範圍中，則在每一方向上使用降頻取樣因數1(亦即，無降頻取樣)。若列索引及行索引皆在0<=索引<=7之範圍中，但皆不在0<=索引<=3之範圍中，則在每一方向(列/行)上使用降頻取樣因數2。對於所有剩餘值，在每一方向上使用降頻取樣因數4。在圖7中，針對有編號正方形中之每一正方形寫碼一個量化矩陣值。可藉由簡單地對來自原始16×16量化矩陣之屬於對應正方形之所有量化矩陣值求平均來推導此值。雖然在本實例中使用簡單求平均，但亦可能使用更複雜之降頻取樣濾波器。正方形0-15各自直接對應於一個量化矩陣值，因為在此區域中降頻取樣因數為1。正方形17-27對應於量化矩陣值之2×2區塊(亦即，4個量化矩陣值)，因為在此區域中降頻取樣因數為2。正方形29-39對應於量化矩陣值之4×4區塊(亦即，16個量化矩陣值)，因為在此區域中降頻取樣因數為4。正方形內之數字 表示藉以在位元串流中寫碼該等值的Z字形掃描次序。
對應於每一正方形之一個量化矩陣值可包括於位元串流中。此可針對每一降頻取樣因數在特定區域中使用單獨Z字形掃描來實現。舉例而言，對應於降頻取樣因數1之首批正方形0-15係以Z字形次序掃描。此掃描繼之以對應於降頻取樣因數2之正方形17-27之Z字形掃描。此掃描繼之以對應於降頻取樣因數4之正方形28-39之Z字形掃描。若用於較高降頻取樣因數之Z字形掃描越過被用於較低降頻取樣因數之另一Z字形掃描覆蓋之區，則無值被寫碼(例如，當自正方形16轉至正方形17時)。然而，若使用DPCM來寫碼降頻取樣值，則用於Z字形掃描中之下一值之預測子可自用於較低子取樣因數之對應量化矩陣值導出，該等值已在位元串流中寫碼。
舉例而言，在圖7中，考慮對應於子取樣因數2之Z字形掃描。Z字形掃描越過具有索引16及17之正方形。此等兩個正方形之間存在已被對應於子取樣因數1之Z字形掃描覆蓋之區(正方形11-15)。因而，針對彼區域，無值被寫碼至位元串流，因為此區域已被寫碼。然而，當正使用DPCM寫碼具有索引17之正方形之量化矩陣值時，預測值係自具有索引11、13、14及15之正方形之已寫碼值導出。此量化矩陣值可為捨位至最接近的整數之經寫碼值之簡單平均值。
在接收到降頻取樣量化矩陣時，視訊解碼器30可按與藉以將量化矩陣值包括於位元串流中之次序相同的次序解碼 係數值之量化矩陣值。視訊解碼器30可將簡單複製用於執行量化矩陣值之升頻取樣。亦即，正方形內之所有位置使用相同量化矩陣值。此量化矩陣值通常為對應於彼正方形之經寫碼值。亦可使用更複雜之升頻取樣濾波器。
如上文關於其他技術所描述，降頻取樣量化矩陣值可使用DPCM(自掃描中之前一值之預測)、繼之以帶正負號之指數葛洛姆寫碼進行寫碼。當某一值由於彼區已由對應於較低子取樣因數之Z字形掃描覆蓋而未被寫碼時，如上所述地修改下一經寫碼值之預測。亦可使用任何其他預測及寫碼方法。替代諸如圖7中所展示的3個降頻取樣因數，可使用更少或更多降頻取樣因數及區域。圖8展示對於8×8區塊具有2個降頻取樣因數之實例，其中區塊0-15具有降頻取樣因數1且區塊17-27具有降頻取樣因數2。
亦應注意，可使用諸如對角線向上(up-diagonal)的其他類型之掃描。又，掃描可以反向次序進行。舉例而言，可首先寫碼對應於降頻取樣因數3的值。此可繼之以對應於降頻取樣因數2之值，等。
在本發明之一個特定實例中，量化矩陣之DC係數(亦即，位置(0,0)處之量化矩陣值)為第一子集中之唯一值，且用降頻取樣因數1進行降頻取樣(亦即，其被顯式地發信)。量化矩陣中之所有其他量化矩陣值被視為在第二子集中，且以2或更大之因數進行降頻取樣。圖9展示根據本實例寫碼之16×16量化矩陣。如圖9中所展示，正方形0中之DC係數被顯式寫碼(亦即，用降頻取樣因數1)，且量化 矩陣中之所有其他量化矩陣值係用因數2進行降頻取樣。請注意，用因數2降頻取樣之正方形1技術上包括該DC係數。用於此特定2×2區塊之值可被判定為三個剩餘量化矩陣值(亦即，除DC係數外之值)之平均值、區域中之所有四個量化矩陣值之平均值(亦即，包括DC係數之平均值)或使用某一其他濾波技術判定。
在本發明之另一實例中，對於32×32區塊，可使用以下降頻取樣轉變點。若列索引及行索引皆在0<=索引<=3之範圍中，則在每一方向上使用降頻取樣因數1(亦即，無降頻取樣)。若列索引及行索引皆在0<=索引<=15之範圍中，但皆不在0<=索引<=3之範圍中，則可在每一方向(列/行)上使用降頻取樣因數2。對於所有剩餘值，可在每一方向上使用降頻取樣因數4。降頻取樣因數改變值(例如，自1至2或自2至4)所在之轉變點及實際降頻取樣因數可包括於位元串流中，或其可在視訊編碼器20及視訊解碼器30兩者處為事前已知的。
在本發明之一個實例中，若使用均勻取樣，則僅需要寫碼8×8矩陣。對於非均勻取樣，對更多量化矩陣值進行寫碼，因為將達成對完整量化矩陣(32×32或16×16)之更精確近似。
對於均勻取樣實例，替代寫碼16×16或32×32之量化矩陣，在位元串流中寫碼較低大小(例如，8×8)之量化矩陣。接著，當需要產生較大矩陣之量化矩陣輸入項之值時，可使用內插法。若量化矩陣輸入項表示較低頻率子集 中之頻率，諸如最低8×8個頻率，則使用雙線性內插法來計算較大量化矩陣之量化矩陣輸入項之值。對於該區之剩餘部分，使用自較低大小之量化矩陣複製對應值。替代使用最低8×8頻率，可使用任何其他子集。此外，替代雙線性內插法及像素複製，可使用任何兩個內插方法。此技術可進一步推廣至2個以上區域及2個以上內插方法。
關於圖7、圖8及圖9，以及上文所描述之對係數值進行降頻取樣之實例，在不同區(亦即，表示量化矩陣值之不同子集)中使用不同降頻取樣因數。對於每一子集，可針對每一區塊(例如，圖7至圖9中之有編號正方形)發信一個量化矩陣值，其中每一區塊所表示之量化矩陣值之數目係由用於特定子集之降頻取樣因數判定。降頻取樣因數之間的切換發生於之位置可為視訊編碼器及視訊解碼器所知或被顯式地發信。
換言之，上文所論述之降頻取樣技術可允許視訊編碼器20無損失地發信較低頻率量化矩陣值(在一個實例中，關於DC係數)且以越來越粗略之方式近似其他量化矩陣值。此可避免使整個量化矩陣置於記憶體中之必要性，此對16×16及32×32之區塊大小可能有益(雖然益處亦可適用於不同大小之區塊)。
根據上文所描述之技術，視訊編碼器20可經組態以：判定包括複數個值之一量化矩陣；按一第一降頻取樣因數降頻取樣該量化矩陣中的一第一值集合以產生一第一降頻取樣值集合；按一第二降頻取樣因數降頻取樣該量化矩陣中 的一第二值集合以產生一第二降頻取樣值集合；且產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流。
返回參看圖2，在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在藉由熵編碼單元56進行之熵編碼之後，經編碼位元串流可被傳輸至視訊解碼器30，或經存檔以供稍後傳輸或由視訊解碼器30擷取。熵編碼單元56亦可熵編碼用於正被寫碼之當前視訊切片之運動向量及其他語法元素。
在一些實例中，熵編碼單元56可操作以執行本發明之技術。然而，本發明之態樣不限於此。在替代實例中，視訊編碼器20之某一其他單元(諸如處理器)或視訊編碼器20之任何其他單元可被分派執行本發明之技術之任務。作為一個實例，熵編碼單元56可操作以編碼量化矩陣之第一子集之大小、編碼該第一子集之係數值且預測量化矩陣之第二子集之係數值。又，在一些實例中，本發明之技術可劃分到視訊編碼器20之一或多個單元當中。
反量化單元58及反變換處理單元60分別應用反量化及反變換，以重建構像素域中之殘餘區塊以供稍後用作參考圖片之參考區塊。運動補償單元44可藉由將殘餘區塊加至參考圖片清單中之一者內的參考圖片中之一圖片之預測性區 塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於重建構之殘餘區塊以計算次整數像素值以供在運動估計中使用。求和器62將重建構之殘餘區塊加至由運動補償單元44產生的經運動補償之預測區塊以產生參考區塊以儲存於參考圖片記憶體64中。參考區塊可由運動估計單元42及運動補償單元44用作參考區塊來框間預測隨後視訊圖框或圖片中之區塊。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器30之方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼單元80、預測處理單元81、反量化單元86、反變換單元88、求和器90及參考圖片記憶體92。預測處理單元81包括運動補償單元82及框內預測處理單元84。在一些實例中，視訊解碼器30可執行與關於圖2之視訊編碼器20所描述之編碼遍次大體上互反之解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼單元80將運動向量及其他語法元素轉發至預測處理單元81。視訊解碼器30可在視訊切片層級及/或視訊區塊層級接收語法元素。
在一些實例中，熵解碼單元80可操作以執行本發明之技術。然而，本發明之態樣不限於此。在替代實例中，視訊解碼器30之某一其他單元(諸如處理器)或視訊解碼器30之 任何其他單元可被分派執行本發明之技術之任務。作為一個實例，熵解碼單元80可操作以解碼量化矩陣之第一子集之大小、解碼該第一子集之係數值且預測量化矩陣之第二子集之係數值。又，在一些實例中，本發明之技術可被劃分到視訊解碼器30之一或多個單元當中。
當視訊切片經寫碼為經框內寫碼(I)切片時，預測處理單元81之框內預測處理單元84可基於所發信之框內預測模式及來自當前圖框或圖片之先前經解碼區塊之資料產生用於當前視訊切片之視訊區塊之預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B、P或GPB)切片時，預測處理單元81之運動補償單元82基於自熵解碼單元80接收之運動向量及其他語法元素產生用於當前視訊切片之視訊區塊的預測性區塊。可根據參考圖片清單中之一者內的參考圖片中之一圖片產生該等預測性區塊。視訊解碼器30可基於儲存於參考圖片記憶體92中之參考圖片使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償單元82藉由剖析運動向量及其他語法元素來判定用於當前視訊切片之視訊區塊之預測資訊，且使用該預測資訊產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元82使用所接收之語法元素中之一些判定用以寫碼視訊切片之視訊區塊之預測模式(例如，框內或框間預測)、框間預測切片類型(例如，B切片、P切片或GPB切片)、用於切片之參考圖片清單中之一或多者之建構資訊、用於切片之每一經框間編碼視訊區塊之運動向 量、用於切片之每一經框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償單元82亦可基於內插濾波器執行內插。運動補償單元82可使用由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算用於參考區塊之次整數像素之內插值。在此情況下，運動補償單元82可根據所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化單元86反量化(亦即，解量化)提供於位元串流中且由熵解碼單元80解碼之經量化變換係數。反量化程序可包括將由視訊編碼器20針對視訊切片中之每一視訊區塊計算並發信之量化參數及/或量化矩陣用以判定量化之程度及(同樣地)應該應用的反量化之程度。詳言之，反量化單元86可經組態以解碼所接收的已根據上述技術寫碼之量化矩陣。詳言之，視訊解碼器30可經組態以升頻取樣所接收的已根據本發明之技術降頻取樣之量化矩陣。
在本發明之一個實例中，視訊解碼器30可經組態以：在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣；按一第一升頻取樣因數升頻取樣該量化矩陣中的一第一降頻取樣值集合以產生一第一值集合；按一第二升頻取樣因數升頻取樣該量化矩陣中的一第二降頻取樣值集合以產生一第二值集合；且用該第一及該第二值集合反量化一變換係數區塊。
反變換處理單元88將反變換(例如，反DCT、反整數變 換或概念上類似之反變換程序)應用於變換係數以便產生像素域中之殘餘區塊。
在運動補償單元82基於運動向量及其他語法元素產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換處理單元88之殘餘區塊與由運動補償單元82產生之對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除方塊效應假影。亦可將其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)用以平滑化像素轉變或以其他方式改良視訊品質。給定圖框或圖片中之經解碼視訊區塊接著被儲存於儲存用於隨後運動補償之參考圖片之參考圖片記憶體92中。參考圖片記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1之顯示器件32)上。
圖10為說明根據本發明之技術的視訊編碼方法之流程圖。圖10之方法可由視訊編碼器20執行。視訊編碼器20可經組態以：判定包括複數個值之量化矩陣(920)；按一第一降頻取樣因數降頻取樣該量化矩陣中的一第一值集合以產生一第一降頻取樣值集合(922)；且按一第二降頻取樣因數降頻取樣該量化矩陣中的一第二值集合以產生一第二降頻取樣值集合(924)。
在本發明之一個實例中，視訊編碼器20可基於該第一值集合在該量化矩陣中之一位置判定該第一降頻取樣因數，且基於該第二值集合在該量化矩陣中之一位置判定該第二 降頻取樣因數。在一特定實例中，該第一值集合僅包括該量化矩陣之位置(0,0)處之值，其中該第一降頻取樣因數經判定為1，且其中該第二降頻取樣因數經判定為2及4中之一者。
視訊編碼器20可經組態以判定量化矩陣中之轉變點從而判定降頻取樣量化矩陣值之方式。在一個實例中，視訊編碼器20可經組態以：判定該量化矩陣中之一第一轉變點，其中位於該第一轉變點與該量化矩陣之一原點之間的值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣中的該第一值集合位於該第一轉變點與該第二轉變點之間；且判定該量化矩陣中之一第三轉變點，其中該量化矩陣中的該第二值集合位於該第二轉變點與該第三轉變點之間。視訊編碼器20可經組態以在該經寫碼位元串流中發信該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
在本發明之一個實例中，視訊編碼器20可經組態以藉由以下操作來發信該等降頻取樣值：根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之一者，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
在本發明之另一實例中，降頻取樣該量化矩陣中的該第一值集合包含對該第一值集合中的第一數目個量化矩陣值求平均以產生該第一降頻取樣值集合中之值，其中該第一 數目係根據該第一降頻取樣因數判定，且其中降頻取樣該量化矩陣中的該第二值集合包含對該第二值集合中的第二數目個量化矩陣值求平均以產生該第二降頻取樣值集合中之值，其中該第二數目係根據該第二降頻取樣因數判定。
視訊編碼器20可經進一步組態以根據該量化矩陣量化一變換係數區塊中之變換係數之值以形成經量化之變換係數(926)。視訊編碼器20可經進一步組態以產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流(928)。
圖11為說明根據本發明之技術的視訊解碼方法之流程圖。圖11之方法可由視訊解碼器30執行。視訊解碼器30可經組態以在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣(1020)；按一第一升頻取樣因數升頻取樣該量化矩陣中的一第一降頻取樣值集合以產生一第一值集合(1022)；按一第二升頻取樣因數升頻取樣該量化矩陣中的一第二降頻取樣值集合以產生一第二值集合(1024)；且用該第一及該第二值集合反量化一變換係數區塊(1026)。
在本發明之一個實例中，視訊解碼器30可經組態以：基於該第一降頻取樣值集合在該量化矩陣中之一位置判定該第一升頻取樣因數，且基於該第二降頻取樣值集合在該量化矩陣中之一位置判定該第二升頻取樣因數。在一特定實例中，該第一降頻取樣值集合僅包括該量化矩陣之位置(0,0)處之值，其中該第一升頻取樣因數經判定為1，且其中該第二升頻取樣因數經判定為2及4中之一者。
在本發明之另一實例中，視訊解碼器30可經組態以：判定該量化矩陣中之一第一轉變點，其中該量化矩陣之位於該第一轉變點與該量化矩陣之一原點之間的值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣中的該第一降頻取樣值集合位於該第一轉變點與該第二轉變點之間；且判定該量化矩陣中之一第三轉變點，其中該量化矩陣中的該第二降頻取樣值集合位於該第二轉變點與該第三轉變點之間。在此實例中，在該經寫碼位元串流中接收該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
在本發明之另一實例中，視訊解碼器30經組態以根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之每一連續降頻取樣值，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
在本發明之另一實例中，藉由以下步驟對量化矩陣中的該第一值集合進行升頻取樣：對於該第一值集合中的第一數目個值複製該第一降頻取樣值集合中之一降頻取樣值，其中該第一數目係根據該第一升頻取樣因數判定，且升頻取樣該量化矩陣中的該第二值集合包含對於該第二值集合中的第二數目個值複製該第二降頻取樣值集合中之一降頻取樣值，其中該第二數目係根據該第二升頻取樣因數判定。
在本發明之一個實例中，將不同升頻取樣技術用以升頻取樣該第一及該第二降頻取樣值集合。在一特定實例中，使用雙線性內插法升頻取樣該第一及該第二值集合中之至少一者。
視訊解碼器30可經進一步組態以反變換變換係數之該反量化區塊以形成視訊資料之一殘餘區塊；且對視訊資料之該殘餘區塊執行一預測程序以形成視訊資料之一經解碼區塊。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲 存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器執行指令。因此，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼的專用硬體及/或軟體模組內或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，該等器 件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必要求藉由不同硬體單元實現。相反地，如上所述，可將各種單元組合於編碼解碼器硬體單元中，或可由結合合適軟體及/或韌體的互操作性硬體單元(包括如上所述之一或多個處理器)之集合提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧通信頻道
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧調變器/解調變器/數據機
24‧‧‧傳輸器
26‧‧‧接收器
28‧‧‧數據機
30‧‧‧視訊解碼器
32‧‧‧顯示器件
34‧‧‧儲存媒體
36‧‧‧檔案伺服器
35‧‧‧分割單元
41‧‧‧預測處理單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測處理單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換處理單元
62‧‧‧求和器
64‧‧‧參考圖片記憶體
80‧‧‧熵解碼單元
81‧‧‧預測處理單元
82‧‧‧運動補償單元
84‧‧‧框內預測處理單元
86‧‧‧反量化單元
88‧‧‧反變換單元
90‧‧‧求和器
92‧‧‧參考圖片記憶體
94‧‧‧量化矩陣
96‧‧‧第一子集
98‧‧‧第二子集
100‧‧‧量化矩陣
101‧‧‧量化矩陣之第一子集
102‧‧‧重建構之量化矩陣
103‧‧‧第一子集
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術的實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖4為說明實例量化矩陣之概念圖。
圖5為說明具有實例值之量化矩陣之概念圖。
圖6為說明利用本發明之一或多個實例技術的重建構之量化矩陣之概念圖。
圖7為說明用於量化矩陣之一個實例中的不同部分之降頻取樣因數之概念圖。
圖8為說明用於量化矩陣之另一實例中的不同部分之降頻取樣因數之概念圖。
圖9為說明用於量化矩陣之另一實例中的不同部分之降頻取樣因數之概念圖。
圖10為說明根據本發明之技術的視訊編碼方法之流程圖。
圖11為說明根據本發明之技術的視訊解碼方法之流程圖。

Claims (36)

  1. 一種編碼視訊資料之方法，其包含：判定包括複數個值之一量化矩陣，其中該量化矩陣用於量化多個變換係數；基於一第一值集合在該量化矩陣中之一位置判定一第一降頻取樣因數，其中該第一值集合包括該量化矩陣之位置(0,0)處之值；基於一第二值集合在該量化矩陣中之一位置判定一第二降頻取樣因數；按該第一降頻取樣因數降頻取樣該量化矩陣中的該第一值集合以產生一第一降頻取樣值集合；按該第二降頻取樣因數降頻取樣該量化矩陣中的該第二值集合以產生一第二降頻取樣值集合；及產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流。
  2. 如請求項1之方法，其中該第一降頻取樣因數經判定為1，且其中該第二降頻取樣因數經判定為2及4中之一者。
  3. 如請求項1之方法，其中該量化矩陣具有16x16或32x32之一大小。
  4. 如請求項1之方法，其進一步包含：判定該量化矩陣中之一第一轉變點，其中位於該第一轉變點與該量化矩陣之一原點之間的值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣 中的該第一值集合位於該第一轉變點與該第二轉變點之間；判定該量化矩陣中之一第三轉變點，其中該量化矩陣中的該第二值集合位於該第二轉變點與該第三轉變點之間；及在該經寫碼位元串流中發信該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
  5. 如請求項1之方法，其進一步包含：根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之一者，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
  6. 如請求項1之方法，其中降頻取樣該量化矩陣中的該第一值集合包含：對該第一值集合中的第一數目個量化矩陣值求平均以產生該第一降頻取樣值集合中之值，其中該第一數目係根據該第一降頻取樣因數判定，且其中降頻取樣該量化矩陣中的該第二值集合包含：對該第二值集合中的第二數目個量化矩陣值求平均以產生該第二降頻取樣值集合中之值，其中該第二數目係根據該第二降頻取樣因數判定。
  7. 如請求項1之方法，其進一步包含：對視訊資料之一區塊執行一預測程序以形成殘餘視訊資料之一區塊； 變換該殘餘視訊資料以形成一變換係數區塊；根據該量化矩陣量化該變換係數區塊中之變換係數之值以形成經量化之變換係數；及將該等經量化之變換係數熵寫碼至該經寫碼位元串流中。
  8. 一種解碼視訊資料之方法，其包含：在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣；基於一第一降頻取樣值集合在該量化矩陣中之一位置判定一第一升頻取樣因數，其中該第一降頻取樣值集合包括該量化矩陣之位置(0,0)處之值；基於一第二降頻取樣值集合在該量化矩陣中之一位置判定一第二升頻取樣因數；按該第一升頻取樣因數升頻取樣該量化矩陣中的該第一降頻取樣值集合以產生一第一值集合；按該第二升頻取樣因數升頻取樣該量化矩陣中的該第二降頻取樣值集合以產生一第二值集合；及用該第一及該第二值集合反量化一變換係數區塊。
  9. 如請求項8之方法，其中該第一升頻取樣因數經判定為1，且其中該第二升頻取樣因數經判定為2及4中之一者。
  10. 如請求項9之方法，其中該量化矩陣具有16x16或32x32之一大小。
  11. 如請求項8之方法，其進一步包含： 判定該量化矩陣中之一第一轉變點，其中位於該第一轉變點與該量化矩陣之一原點之間的該量化矩陣之值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣中的該第一降頻取樣值集合位於該第一轉變點與該第二轉變點之間；判定該量化矩陣中之一第三轉變點，其中該量化矩陣中的該第二降頻取樣值集合位於該第二轉變點與該第三轉變點之間；及在該經寫碼位元串流中接收該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
  12. 如請求項8之方法，其進一步包含：根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之每一連續降頻取樣值，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
  13. 如請求項8之方法，其中升頻取樣該量化矩陣中的該第一值集合包含：對於該第一值集合中的第一數目個值複製該第一降頻取樣值集合中之一降頻取樣值，其中該第一數目係根據該第一升頻取樣因數判定，且其中升頻取樣該量化矩陣中的該第二值集合包含：對於該第二值集合中的第二數目個值複製該第二降頻取樣值集合中之一降頻取樣值，其中該第二數目係根據該第 二升頻取樣因數判定。
  14. 如請求項8之方法，其中將不同升頻取樣技術用以升頻取樣該第一及該第二降頻取樣值集合。
  15. 如請求項8之方法，其中該第一及該第二值集合中之至少一者係使用雙線性內插法升頻取樣。
  16. 如請求項8之方法，其進一步包含：反變換變換係數之該反量化區塊以形成視訊資料之一殘餘區塊；及對視訊資料之該殘餘區塊執行一預測程序以形成視訊資料之一經解碼區塊。
  17. 一種經組態以寫碼視訊資料之裝置，其包含：一記憶體，其經組態以儲存該視訊資料；及一視訊編碼器，其經組態以：判定包括複數個值之一量化矩陣，其中該量化矩陣用於量化多個變換係數；基於一第一值集合在該量化矩陣中之一位置判定一第一降頻取樣因數，其中該第一值集合包括該量化矩陣之位置(0,0)處之值；基於一第二值集合在該量化矩陣中之一位置判定一第二降頻取樣因數；按該第一降頻取樣因數降頻取樣該量化矩陣中的該第一值集合以產生一第一降頻取樣值集合；按該第二降頻取樣因數降頻取樣該量化矩陣中的該第二值集合以產生一第二降頻取樣值集合；且 產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之關於該視訊資料之一經寫碼位元串流。
  18. 如請求項17之裝置，其中該第一降頻取樣因數經判定為1，且其中該第二降頻取樣因數經判定為2及4中之一者。
  19. 如請求項18之裝置，其中該量化矩陣具有16x16或32x32之一大小。
  20. 如請求項17之裝置，其中該視訊編碼器經進一步組態以：判定該量化矩陣中之一第一轉變點，其中位於該第一轉變點與該量化矩陣之一原點之間的值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣中的該第一值集合位於該第一轉變點與該第二轉變點之間；判定該量化矩陣中之一第三轉變點，其中該量化矩陣中的該第二值集合位於該第二轉變點與該第三轉變點之間；且在該經寫碼位元串流中發信該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
  21. 如請求項17之裝置，其中該視訊編碼器經進一步組態以：根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之一 者，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
  22. 如請求項17之裝置，其中降頻取樣該量化矩陣中的該第一值集合包含：對該第一值集合中的第一數目個量化矩陣值求平均以產生該第一降頻取樣值集合中之值，其中該第一數目係根據該第一降頻取樣因數判定，且其中降頻取樣該量化矩陣中的該第二值集合包含：對該第二值集合中的第二數目個量化矩陣值求平均以產生該第二降頻取樣值集合中之值，其中該第二數目係根據該第二降頻取樣因數判定。
  23. 如請求項17之裝置，其中該視訊編碼器經進一步組態以：對視訊資料之一區塊執行一預測程序以形成殘餘視訊資料之一區塊；變換該殘餘視訊資料以形成一變換係數區塊；根據該量化矩陣量化該變換係數區塊中之變換係數之值以形成經量化之變換係數；且將該等經量化之變換係數熵寫碼至該經寫碼位元串流中。
  24. 一種經組態以解碼視訊資料之裝置，其包含：一記憶體，其經組態以儲存該視訊資料；及一視訊解碼器，其經組態以：在該視訊資料之一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣； 基於一第一降頻取樣值集合在該量化矩陣中之一位置判定一第一升頻取樣因數，其中該第一降頻取樣值集合包括該量化矩陣之位置(0,0)處之值；基於一第二降頻取樣值集合在該量化矩陣中之一位置判定一第二升頻取樣因數；按該第一升頻取樣因數升頻取樣該量化矩陣中的該第一降頻取樣值集合以產生一第一值集合；按該第二升頻取樣因數升頻取樣該量化矩陣中的該第二降頻取樣值集合以產生一第二值集合；且用該第一及該第二值集合反量化一變換係數區塊。
  25. 如請求項24之裝置，其中該第一升頻取樣因數經判定為1，且其中該第二升頻取樣因數經判定為2及4中之一者。
  26. 如請求項25之裝置，其中該量化矩陣具有16x16或32x32之一大小。
  27. 如請求項24之裝置，其中該視訊解碼器經進一步組態以：判定該量化矩陣中之一第一轉變點，其中位於該第一轉變點與該量化矩陣之一原點之間的該量化矩陣之值未經降頻取樣；判定該量化矩陣中之一第二轉變點，其中該量化矩陣中的該第一降頻取樣值集合位於該第一轉變點與該第二轉變點之間；判定該量化矩陣中之一第三轉變點，其中該量化矩陣 中的該第二降頻取樣值集合位於該第二轉變點與該第三轉變點之間；且在該經寫碼位元串流中接收該第一、該第二及該第三轉變點以及該第一及該第二降頻取樣因數。
  28. 如請求項24之裝置，其中該視訊解碼器經進一步組態以：根據該第一及該第二降頻取樣值集合中之沿著一掃描次序的一先前降頻取樣值預測該第一及該第二降頻取樣值集合中之沿著該掃描次序的該等降頻取樣值中之每一連續降頻取樣值，其中該第一集合中之降頻取樣值可用以預測該第二集合中之降頻取樣值。
  29. 如請求項24之裝置，其中升頻取樣該量化矩陣中的該第一值集合包含：對於該第一值集合中的第一數目個值複製該第一降頻取樣值集合中之一降頻取樣值，其中該第一數目係根據該第一升頻取樣因數判定，且其中升頻取樣該量化矩陣中的該第二值集合包含：對於該第二值集合中的第二數目個值複製該第二降頻取樣值集合中之一降頻取樣值，其中該第二數目係根據該第二升頻取樣因數判定。
  30. 如請求項24之裝置，其中將不同升頻取樣技術用以升頻取樣該第一及該第二降頻取樣值集合。
  31. 如請求項24之裝置，其中該第一及該第二值集合中之至少一者係使用雙線性內插法升頻取樣。
  32. 如請求項24之裝置，其中該視訊解碼器經進一步組態 以：反變換變換係數之該反量化區塊以形成視訊資料之一殘餘區塊；且對視訊資料之該殘餘區塊執行一預測程序以形成視訊資料之一經解碼區塊。
  33. 一種經組態以編碼視訊資料之裝置，其包含：用於判定包括複數個值之一量化矩陣之構件，其中該量化矩陣用於量化多個變換係數；用於基於一第一值集合在該量化矩陣中之一位置判定一第一降頻取樣因數之構件，其中該第一值集合包括該量化矩陣之位置(0,0)處之值；用於基於一第二值集合在該量化矩陣中之一位置判定一第二降頻取樣因數之構件；用於按該第一降頻取樣因數降頻取樣該量化矩陣中的該第一值集合以產生一第一降頻取樣值集合之構件；用於按該第二降頻取樣因數降頻取樣該量化矩陣中的該第二值集合以產生一第二降頻取樣值集合之構件；及用於產生包括該第一降頻取樣值集合及該第二降頻取樣值集合之一經寫碼位元串流之構件。
  34. 一種經組態以解碼視訊資料之裝置，其包含：用於在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣之構件；用於基於一第一降頻取樣值集合在該量化矩陣中之一位置判定一第一升頻取樣因數之構件，其中該第一降頻 取樣值集合包括該量化矩陣之位置(0,0)處之值；用於基於一第二降頻取樣值集合在該量化矩陣中之一位置判定一第二升頻取樣因數之構件；用於按該第一升頻取樣因數升頻取樣該量化矩陣中的該第一降頻取樣值集合以產生一第一值集合之構件；用於按該第二升頻取樣因數升頻取樣該量化矩陣中的該第二降頻取樣值集合以產生一第二值集合之構件；及用於用該第一及該第二值集合反量化一變換係數區塊之構件。
  35. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使經組態以編碼視訊資料之一器件之一或多個處理器：判定包括複數個值之一量化矩陣，其中該量化矩陣用於量化多個變換係數；基於一第一值集合在該量化矩陣中之一位置判定一第一降頻取樣因數，其中該第一值集合包括該量化矩陣之位置(0,0)處之值；基於一第二值集合在該量化矩陣中之一位置判定一第二降頻取樣因數；按該第一降頻取樣因數降頻取樣該量化矩陣中的該第一值集合以產生一第一降頻取樣值集合；按該第二降頻取樣因數降頻取樣該量化矩陣中的該第二值集合以產生一第二降頻取樣值集合；及產生包括該第一降頻取樣值集合及該第二降頻取樣值 集合之一經寫碼位元串流。
  36. 一種儲存指令之非暫時性電腦可讀儲存媒體，該等指令在執行時使經組態以解碼視訊資料之一器件之一或多個處理器：在一經寫碼位元串流中接收用降頻取樣值寫碼之一量化矩陣；基於一第一降頻取樣值集合在該量化矩陣中之一位置判定一第一升頻取樣因數，其中該第一降頻取樣值集合包括該量化矩陣之位置(0,0)處之值；基於一第二降頻取樣值集合在該量化矩陣中之一位置判定一第二升頻取樣因數；按該第一升頻取樣因數升頻取樣該量化矩陣中的該第一降頻取樣值集合以產生一第一值集合；按該第二升頻取樣因數升頻取樣該量化矩陣中的該第二降頻取樣值集合以產生一第二值集合；及用該第一及該第二值集合反量化一變換係數區塊。
TW101141398A 2011-11-07 2012-11-07 發信用於視訊寫碼之量化矩陣 TWI520585B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161556785P 2011-11-07 2011-11-07
US201261594885P 2012-02-03 2012-02-03
US201261597107P 2012-02-09 2012-02-09
US201261605654P 2012-03-01 2012-03-01
US13/670,011 US10277915B2 (en) 2011-11-07 2012-11-06 Signaling quantization matrices for video coding

Publications (2)

Publication Number Publication Date
TW201334549A TW201334549A (zh) 2013-08-16
TWI520585B true TWI520585B (zh) 2016-02-01

Family

ID=48223683

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101141398A TWI520585B (zh) 2011-11-07 2012-11-07 發信用於視訊寫碼之量化矩陣

Country Status (19)

Country Link
US (1) US10277915B2 (zh)
EP (1) EP2777263B1 (zh)
JP (1) JP5902311B2 (zh)
KR (1) KR101895652B1 (zh)
CN (1) CN104137546B (zh)
AU (1) AU2012335896B2 (zh)
BR (1) BR112014011054B1 (zh)
CA (1) CA2853835C (zh)
ES (1) ES2715838T3 (zh)
HK (1) HK1199995A1 (zh)
HU (1) HUE043156T2 (zh)
IL (1) IL232284A (zh)
IN (1) IN2014CN03345A (zh)
MY (1) MY174583A (zh)
RU (1) RU2582579C2 (zh)
SG (1) SG11201401566UA (zh)
TW (1) TWI520585B (zh)
WO (1) WO2013070766A1 (zh)
ZA (1) ZA201404179B (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
JP6120490B2 (ja) * 2011-11-07 2017-04-26 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6312879B2 (ja) * 2011-11-07 2018-04-18 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
BR122020017515B1 (pt) * 2012-01-20 2022-11-22 Electronics And Telecommunications Research Institute Método de decodificação de vídeo
US9313497B2 (en) * 2012-01-25 2016-04-12 Intel Corporation Systems, methods, and computer program products for transform coefficient sub-sampling
MY190756A (en) 2012-02-29 2022-05-12 Sony Corp Image processing device and method
AU2015258162B2 (en) * 2012-02-29 2017-01-12 Sony Corporation Image Processing Device and Method
WO2013158669A1 (en) * 2012-04-16 2013-10-24 Huawei Technologies Co., Ltd. Method and apparatus of quantization matrix coding
US9609341B1 (en) * 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9497465B2 (en) * 2012-06-29 2016-11-15 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images
US9445124B2 (en) * 2013-03-15 2016-09-13 Samsung Electronics Co., Ltd. Electronic system with frequency mechanism and method of operation thereof
CN105453567B (zh) * 2013-07-24 2019-04-23 微软技术许可有限责任公司 用于非变换编码的扫描次序
US10516898B2 (en) 2013-10-10 2019-12-24 Intel Corporation Systems, methods, and computer program products for scalable video coding based on coefficient sampling
US9716884B2 (en) * 2014-03-20 2017-07-25 Hfi Innovation Inc. Method of signaling for mode selection in 3D and multi-view video coding
CN106663209B (zh) * 2014-09-19 2020-05-08 华为技术有限公司 用于非均匀映射图像/视频编码中不同尺寸的量化矩阵之间的量化矩阵系数的方法和装置
CN108141593B (zh) * 2015-07-31 2022-05-03 港大科桥有限公司 用于针对深度视频的高效帧内编码的基于深度不连续的方法
EP3449677B1 (en) * 2016-04-28 2021-12-29 Sony Group Corporation Transmit power of pilot signals
EP3716622A1 (en) * 2017-11-24 2020-09-30 Sony Corporation Image processing device and method
US10491897B2 (en) 2018-04-13 2019-11-26 Google Llc Spatially adaptive quantization-aware deblocking filter
GB2578633B (en) * 2018-11-02 2021-10-13 Advanced Risc Mach Ltd Encoding data arrays
JP2020098984A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2020098983A (ja) 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
US20220086443A1 (en) * 2018-12-26 2022-03-17 Electronics And Telecommunications Research Institute Quantization matrix encoding/decoding method and device, and recording medium in which bitstream is stored
US11470329B2 (en) * 2018-12-26 2022-10-11 Tencent America LLC Method and apparatus for video coding
CN114009043A (zh) * 2019-06-03 2022-02-01 Lg电子株式会社 基于矩阵的帧内预测装置和方法
US20220286692A1 (en) * 2019-08-27 2022-09-08 Hyundai Motor Company Video encoding and decoding using differential encoding
KR20220112668A (ko) * 2019-12-19 2022-08-11 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 요소 예측 방법, 인코더, 디코더 및 저장 매체
CN111586411B (zh) * 2020-05-06 2022-07-12 深圳市梦网视讯有限公司 一种低对比度视频编码方法、系统及设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3202433B2 (ja) * 1993-09-17 2001-08-27 株式会社リコー 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法
JPH07123269A (ja) * 1993-10-22 1995-05-12 Fuji Xerox Co Ltd 画像信号の符号化装置
US5489943A (en) * 1994-02-14 1996-02-06 Sony Corporation One-pass adaptive bit rate control
US5629780A (en) 1994-12-19 1997-05-13 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Image data compression having minimum perceptual error
US5708732A (en) * 1996-03-06 1998-01-13 Hewlett-Packard Company Fast DCT domain downsampling and inverse motion compensation
DE69805583T2 (de) * 1997-02-08 2003-01-23 Matsushita Electric Ind Co Ltd Quantisierungsmatrix für die codierung von stand- und bewegtbildern
US6487249B2 (en) 1998-10-09 2002-11-26 Matsushita Electric Industrial Co., Ltd. Efficient down conversion system for 2:1 decimation
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6771703B1 (en) 2000-06-30 2004-08-03 Emc Corporation Efficient scaling of nonscalable MPEG-2 Video
EP1231794A1 (en) * 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the resolution of MPEG bitstreams, a system and a computer program product therefor
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
US7123655B2 (en) 2001-08-09 2006-10-17 Sharp Laboratories Of America, Inc. Method for reduced bit-depth quantization
US7412003B2 (en) * 2003-09-17 2008-08-12 Texas Instruments Incorporated Transcoders and methods
KR101169895B1 (ko) 2004-01-20 2012-07-31 파나소닉 주식회사 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치 및 그 프로그램
US7365748B2 (en) * 2004-08-12 2008-04-29 Broadcom Corporation Unique method for performing horizontal and vertical video decimation within a wireless device
RU2378790C1 (ru) 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
JP4956612B2 (ja) * 2006-10-12 2012-06-20 株式会社東芝 画像符号化装置及び画像符号化方法
KR100848816B1 (ko) * 2007-01-29 2008-07-28 경희대학교 산학협력단 정수 ｄｃｔ를 이용한 영상 이미지의 크기 변환 방법
US8351643B2 (en) * 2007-10-05 2013-01-08 Dolby Laboratories Licensing Corporation Media fingerprints that reliably correspond to media content
WO2009050897A1 (ja) * 2007-10-19 2009-04-23 Panasonic Corporation 符号化レート変換装置、符号化レート変換方法および集積回路
KR101426272B1 (ko) 2008-03-10 2014-08-07 삼성전자주식회사 영상 부호화장치 및 영상 복호화장치
US8964828B2 (en) 2008-08-19 2015-02-24 Qualcomm Incorporated Power and computational load management techniques in video processing
US8948270B2 (en) 2008-08-19 2015-02-03 Qualcomm Incorporated Power and computational load management techniques in video processing
IT1392673B1 (it) * 2009-01-13 2012-03-16 Saipem Spa Procedimento per l'ottenimento di 1-butene ad elevata purezza da miscele idrocarburiche c4
BRPI1008685A2 (pt) 2009-03-02 2016-03-08 Thomson Licensing método e dispositivo para exibição de uma sequência de imagens.
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
US9167252B2 (en) * 2010-12-01 2015-10-20 Texas Instruments Incorporated Quantization matrix compression in video coding
EP2498497A1 (en) * 2011-03-11 2012-09-12 Research In Motion Limited Method and system using prediction and error correction for the compact representation of quantization matrices in video compression
WO2013032794A1 (en) * 2011-08-23 2013-03-07 Mediatek Singapore Pte. Ltd. Method and system of transform block processing according to quantization matrix in video coding
KR20130049525A (ko) 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
KR20130049523A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR101527445B1 (ko) 2012-04-16 2015-06-11 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
WO2013158669A1 (en) * 2012-04-16 2013-10-24 Huawei Technologies Co., Ltd. Method and apparatus of quantization matrix coding

Also Published As

Publication number Publication date
ZA201404179B (en) 2020-11-25
AU2012335896A1 (en) 2014-05-29
KR101895652B1 (ko) 2018-09-05
IL232284A0 (en) 2014-06-30
US20130114695A1 (en) 2013-05-09
KR20140089583A (ko) 2014-07-15
CN104137546B (zh) 2018-01-26
WO2013070766A1 (en) 2013-05-16
BR112014011054A2 (pt) 2017-05-02
SG11201401566UA (en) 2014-09-26
CA2853835C (en) 2017-02-28
AU2012335896B2 (en) 2016-05-12
EP2777263A1 (en) 2014-09-17
IL232284A (en) 2017-09-28
MY174583A (en) 2020-04-28
CN104137546A (zh) 2014-11-05
US10277915B2 (en) 2019-04-30
EP2777263B1 (en) 2018-12-19
BR112014011054B1 (pt) 2022-06-07
CA2853835A1 (en) 2013-05-16
JP2014535250A (ja) 2014-12-25
IN2014CN03345A (zh) 2015-07-03
HK1199995A1 (zh) 2015-07-24
HUE043156T2 (hu) 2019-08-28
JP5902311B2 (ja) 2016-04-13
TW201334549A (zh) 2013-08-16
RU2014123320A (ru) 2015-12-20
RU2582579C2 (ru) 2016-04-27
ES2715838T3 (es) 2019-06-06

Similar Documents

Publication Publication Date Title
TWI520585B (zh) 發信用於視訊寫碼之量化矩陣
JP6129969B2 (ja) スケーラブルビデオコード化における代替変換
US9948949B2 (en) Intra block copy block vector signaling for video coding
US9667994B2 (en) Intra-coding for 4:2:2 sample format in video coding
US9716894B2 (en) Intra prediction modes for lossy coding when transform is skipped
KR102104400B1 (ko) 인트라 예측 방향에 따른 예측 유닛들의 필터링
US9167269B2 (en) Determining boundary strength values for deblocking filtering for video coding
EP3120544B1 (en) Quantization processes for residue differential pulse code modulation
TW201817236A (zh) 用於視頻寫碼之線性模型色度內預測
CN113940069A (zh) 用于视频译码中的低频不可分离变换的变换和最后有效系数位置信令
KR20180043830A (ko) 이미지 예측 방법 및 장치
TWI520584B (zh) 用信號發送用於一葉層級編碼單元之子集的轉換係數的語法元素
US20120236931A1 (en) Transform coefficient scan
TW201517599A (zh) 內部運動補償延伸
US20130101033A1 (en) Coding non-symmetric distributions of data
TW201444350A (zh) 方形區塊預測
KR20150140729A (ko) 비트 심도에 기초한 샘플 적응형 오프셋 스케일링
US20230336777A9 (en) Video encoding/decoding method and device using bdpcm, and method for transmitting bitstream