TWI532364B - 在變換跳躍模式中寫碼重要係數資訊 - Google Patents

在變換跳躍模式中寫碼重要係數資訊 Download PDF

Info

Publication number
TWI532364B
TWI532364B TW101141388A TW101141388A TWI532364B TW I532364 B TWI532364 B TW I532364B TW 101141388 A TW101141388 A TW 101141388A TW 101141388 A TW101141388 A TW 101141388A TW I532364 B TWI532364 B TW I532364B
Authority
TW
Taiwan
Prior art keywords
video
code
writing
video block
block
Prior art date
Application number
TW101141388A
Other languages
English (en)
Other versions
TW201342922A (zh
Inventor
瑞珍 雷克斯曼 喬許
羅傑爾斯 喬爾 索爾
王翔林
馬塔 卡茲維克茲
法迪姆 塞瑞金
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201342922A publication Critical patent/TW201342922A/zh
Application granted granted Critical
Publication of TWI532364B publication Critical patent/TWI532364B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

在變換跳躍模式中寫碼重要係數資訊
本發明係關於視訊寫碼，且更特定言之係關於視訊框間寫碼。
本申請案主張以下各者之權利：2011年11月7日申請之美國臨時申請案第61/556,721號；2011年11月7日申請之美國臨時申請案第61/556,750號；2012年1月5日申請之美國臨時申請案第61/583,569號；及2012年1月18日申請之美國臨時申請案第61/588,124號，該等申請案中之每一者之全部內容係以引用方式併入本文中。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位相機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲機、蜂巢式或衛星無線電電話、所謂的「智慧電話」、視訊電傳會議器件、視訊串流器件及其類似者。數位視訊器件實施視訊壓縮技術，諸如由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第十部分(進階視訊寫碼(AVC))定義之標準、目前在開發中之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述之視訊壓縮技術。視訊器件可藉由實施此等視訊壓縮技術來更有效率地傳輸、接收、編碼、解碼及/或儲存數位視訊 資訊。
視訊壓縮技術執行空間(圖片內)預測及/或時間(圖片間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，視訊切片(亦即，視訊圖框或視訊圖框之一部分)可被分割成多個視訊區塊，視訊區塊亦可被稱為樹型區塊、寫碼單元(CU)及/或寫碼節點。圖片之框內寫碼(I)切片中之視訊區塊係使用關於同一圖片中之相鄰區塊中之參考樣本的空間預測來編碼。圖片之框間寫碼(P或B)切片中之視訊區塊可使用關於同一圖片中之相鄰區塊中之參考樣本的空間預測或關於其他參考圖片中之參考樣本的時間預測。圖片可被稱為圖框，且參考圖片可被稱為參考圖框。
空間或時間預測產生用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。經框間寫碼之區塊係根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼。經框內寫碼之區塊係根據定義預測性區塊之產生方式之框內寫碼模式及殘餘資料來編碼。為了進一步壓縮，殘餘資料可自像素域變換至變換域，從而產生接著可被量化之殘餘變換係數。最初配置成二維陣列的經量化之變換係數可經掃描以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更大壓縮。
一般而言，本發明描述用於在變換跳躍模式中寫碼視訊 區塊之重要係數資訊之技術。變換跳躍模式可提供二維變換模式、水平一維變換模式、垂直一維變換模式或無變換模式之選擇。在其他情況下，變換跳躍模式可提供二維變換模式與無變換模式之間的選擇。用於變換係數寫碼之當前高效率視訊寫碼(HEVC)工作草案(WD)中之習知技術採用二維變換。若為一視訊區塊選擇一變換跳躍模式(在該變換跳躍模式中，一或多個變換被跳過)，則視訊區塊之係數之統計資料將與二維變換情況下的不同。因此，當針對視訊區塊跳過一或多個變換時，習知寫碼程序可能不實施用以寫碼視訊區塊之重要係數資訊之最有效率程序。
該等技術包括為一視訊區塊選擇一變換跳躍模式，及使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來寫碼該視訊區塊之重要係數資訊。更特定言之，該等技術可包括在變換跳躍模式中使用不同寫碼程序有效地寫碼視訊區塊內之最後一個非零係數之位置。該等技術亦可包括在變換跳躍模式中使用不同寫碼程序有效地寫碼視訊區塊之重要性圖。另外，該等技術可包括基於視訊區塊之邊界是否為預測單元邊界來啟用變換跳躍模式及寫碼該選定變換跳躍模式之一指示中之一或多者。
在一實例中，本發明係針對一種用於寫碼視訊資料之方法，其包含：為一視訊區塊選擇一變換跳躍模式，其中該變換跳躍模式包含複數個可能變換模式；將該選定變換跳躍模式應用於該視訊區塊；及使用至少部分地基於該選定變換模式定義之一寫碼程序來寫碼該視訊區塊之重要係數 資訊，其中該重要係數資訊包含該視訊區塊之一最後一個非零係數之一位置及一重要性圖中之一或多者。
在另一實例中，本發明係針對一種視訊寫碼器件，其包含：一記憶體，其儲存視訊資料；及一處理器，其經組態以：為一視訊區塊選擇一變換跳躍模式，其中該變換跳躍模式包含複數個可能變換模式；將該選定變換跳躍模式應用於該視訊區塊；且使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來寫碼該視訊區塊之重要係數資訊，其中該重要係數資訊包含該視訊區塊之一最後一個非零係數之一位置及一重要性圖中之一或多者。
在另一實例中，本發明係針對一種視訊寫碼器件，其包含：用於為一視訊區塊選擇一變換跳躍模式之構件，其中該變換跳躍模式包含複數個可能變換模式；用於將該選定變換跳躍模式應用於該視訊區塊之構件；及用於使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來寫碼該視訊區塊之重要係數資訊之構件，其中該重要係數資訊包含該視訊區塊之一最後一個非零係數之一位置及一重要性圖中之一或多者。
在又一實例中，一種電腦可讀媒體包含用於寫碼視訊資料之指令，該等指令在由一視訊寫碼器件執行時使一或多個可程式化處理器：為一視訊區塊選擇一變換跳躍模式，其中該變換跳躍模式包含複數個可能變換模式；將該選定變換跳躍模式應用於該視訊區塊；及使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來寫碼該視訊區塊 之重要係數資訊，其中該重要係數資訊包含該視訊區塊之一最後一個非零係數之一位置及一重要性圖中之一或多者。
本發明描述用於在變換跳躍模式中寫碼視訊區塊之重要係數資訊之技術。變換跳躍模式可提供二維變換模式、水平一維變換模式、垂直一維變換模式或無變換模式之選擇。在其他情況下，變換跳躍模式可提供二維變換模式與無變換模式之間的選擇。
用於變換係數寫碼之當前高效率視訊寫碼(HEVC)工作草案(WD)中之習知技術採用二維變換。在變換跳躍模式中，提供了當執行或跳過垂直方向及水平方向上之變換時用於變換係數寫碼之技術。因此，如本發明中所描述，變換跳躍模式不要求變換被跳過，而是允許基於水平方向及垂直方向上之寫碼效率來執行或跳過變換。
若為一視訊區塊選擇了其中一或多個變換被跳過的變換跳躍模式，則視訊區塊之係數之統計資料將與二維變換情況下的不同。習知寫碼程序因此可能並非用以寫碼視訊區塊之重要係數資訊的最有效率之程序。
該等技術包括為一視訊區塊選擇一變換跳躍模式，及使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來寫碼該視訊區塊之重要係數資訊。更特定言之，該等技術包括在變換跳躍模式中使用不同寫碼程序有效地寫碼視訊區塊內之最後一個非零係數之位置。該等技術亦包括在 變換跳躍模式中使用不同寫碼程序有效地寫碼視訊區塊之重要性圖。另外，該等技術包括基於視訊區塊之邊界是否為預測單元邊界來啟用變換跳躍模式及寫碼該選定變換跳躍模式之一指示中之一或多者。
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統10之方塊圖。如圖1所示，系統10包括源器件12，其產生在稍後時間由目的地器件14解碼之經編碼視訊資料。源器件12及目的地器件14可包含包括下列各者之廣泛範圍之器件中之任一者：桌上型電腦，筆記型(亦即，膝上型)電腦，平板電腦，機上盒，諸如所謂的「智慧」電話之電話手機、所謂的「智慧」板，電視，攝影機，顯示器件，數位媒體播放器，視訊遊戲機，視訊串流器件，或其類似者。在一些情況下，源器件12及目的地器件14可經配備以用於無線通信。
目的地器件14可經由鏈路16接收待解碼之經編碼視訊資料。鏈路16可包含能夠使經編碼視訊資料自源器件12移動至目的地器件14的任何類型之媒體或器件。在一個實例中，鏈路16可包含一通信媒體以使源器件12能夠即時地將經編碼視訊資料直接傳輸至目的地器件14。經編碼視訊資料可根據諸如無線通信協定之通信標準來調變且傳輸至目的地器件14。通信媒體可包含任何無線或有線通信媒體，諸如射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路，或諸如網際網路之全球網路)之部分。通信媒體可包括路由器、 交換器、基地台或對促進自源器件12至目的地器件14之通信有用處之任何其他設備。
或者，經編碼資料可自輸出介面22輸出至儲存器件32。類似地，可由輸入介面自儲存器件32存取經編碼資料。儲存器件32可包括多種分散式或本端存取之資料儲存媒體(諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存經編碼視訊資料之任何其他合適數位儲存媒體)中之任一者。在另一實例中，儲存器件32可對應於檔案伺服器或可保持由源器件12產生之經編碼視訊之另一中間儲存器件。目的地器件14可經由串流或下載而自儲存器件32存取儲存之視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的任何類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附接儲存(NAS)器件或本端磁碟機。目的地器件14可經由任何標準資料連接(包括網際網路連接)存取經編碼視訊資料。此可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機等)或無線頻道及有線連接之適合於存取儲存於檔案伺服器上之經編碼視訊資料之組合。經編碼視訊資料自儲存器件32之傳輸可為串流傳輸、下載傳輸或兩者之組合。
本發明之技術未必限於無線應用或設定。該等技術可應用於支援多種多媒體應用中之任一者的視訊寫碼，該等多媒體應用諸如空中(over-the-air)電視廣播、有線電視傳 輸、衛星電視傳輸、串流視訊傳輸(例如，經由網際網路)、供儲存於資料儲存媒體上之數位視訊之編碼、儲存於資料儲存媒體上之數位視訊之解碼或其他應用。在一些實例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1之實例中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。在一些情況下，輸出介面22可包括調變器/解調變器(數據機)及/或傳輸器。在源器件12中，視訊源18可包括諸如視訊捕獲器件(例如，視訊攝影機)、含有先前捕獲之視訊之視訊存檔、用以自視訊內容提供者接收視訊之視訊饋送介面及/或用於產生作為源視訊之電腦圖形資料之電腦圖形系統或此等源之組合之源。作為一個實例，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。然而，本發明中所描述之該等技術通常可適用於視訊寫碼，且可應用於無線及/或有線應用。
所捕獲、預先捕獲或電腦產生之視訊可由視訊編碼器12來編碼。經編碼視訊資料可經由源器件20之輸出介面22直接傳輸至目的地器件14。經編碼視訊資料亦可(或替代)儲存於儲存器件32上以便由目的地器件14或其他器件稍後存取以用於解碼及/或播放。
目的地器件14包括輸入介面28、視訊解碼器30及顯示器件34。在一些情況下，輸入介面28可包括接收器及/或數 據機。目的地器件14之輸入介面28經由鏈路16接收經編碼視訊資料。經由鏈路16傳達或在儲存器件32上提供之經編碼視訊資料可包括由視訊編碼器20產生之供視訊解碼器(諸如，視訊解碼器30)在解碼視訊資料時使用之多種語法元素。此等語法元素可與在通信媒體上傳輸、儲存於儲存媒體上或儲存於檔案伺服器中的經編碼視訊資料包括在一起。
顯示器件34可與目的地器件14整合或在目的地器件14外。在一些實例中，目的地器件14可包括整合式顯示器件且亦可經組態以與外部顯示器件介接。在其他實例中，目的地器件14可為顯示器件。一般而言，顯示器件34向使用者顯示經解碼視訊資料，且可包含多種顯示器件中之任一者，諸如，液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
根據本發明之技術，視訊編碼器20為一視訊區塊選擇一變換跳躍模式(包含二維變換模式、垂直一維變換模式、水平一維變換模式或無變換模式中之一者)，且將該選定變換跳躍模式應用於一殘餘視訊區塊。視訊編碼器20使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來編碼變換係數之視訊區塊之重要係數資訊(包括最後一個非零係數之位置及重要性圖中之至少一者)。視訊編碼器20亦發信該選定變換跳躍模式之指示。在一些情況下，視訊編碼器20可基於視訊區塊之邊界是否為預測單元邊界來啟用變換跳躍模式及/或編碼該選定變換跳躍模式之指 示。
此外，根據本發明之技術，視訊解碼器30基於自視訊編碼器20接收的該選定變換跳躍模式之指示來選擇一變換跳躍模式。視訊解碼器30應用對應於該選定變換跳躍模式之一反變換來重建構該殘餘視訊區塊。視訊解碼器30亦使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來解碼視訊區塊之重要係數資訊(包括最後一個非零係數之位置及重要性圖中之至少一者)。在一些情況下，視訊解碼器30可基於視訊區塊之邊界是否為預測單元邊界來推斷變換跳躍模式及/或解碼該選定變換跳躍模式之指示。
視訊編碼器20及視訊解碼器30可根據視訊壓縮標準(諸如，目前在開發中之高效率視訊寫碼(HEVC)標準)來操作，且可遵守HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據其他專屬或工業標準(諸如，替代地稱為MPEG-4第十部分，進階視訊寫碼(AVC)之ITU-T H.264標準)或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊壓縮標準之其他實例包括MPEG-2及ITU-T H.263。
雖然圖1中未展示，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。若適用，則在一些實例中，MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電路中之任一者，諸如，一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，器件可將用於軟體之指令儲存於合適之非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其任一者可整合為各別器件中的組合式編碼器/解碼器(編碼解碼器)之部分。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之被稱為HEVC測試模型(HM)之演進模型。HM假定了視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC的現有器件之若干額外能力。舉例而言，儘管H.264提供九個框內預測編碼模式，但HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述：視訊圖框或圖片可被劃分為包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之一序列。樹型區塊具有與H.264標準之巨集區塊類似之用途。切片以寫碼次序包括數個連續樹型區塊。視訊圖框或圖片可分割成一或多個切片。每一樹型區塊可根據四分樹分裂成多個寫碼單元(CU)。舉例而言，作為四分樹之根節點的樹型區塊可分裂成四個子節點，且每一子節點又可為上代節點且可分裂成另外四個子節點。作 為四分樹之葉節點的最後未分裂之子節點包含寫碼節點，亦即，經寫碼視訊區塊。與經寫碼位元串流相關聯之語法資料可定義樹型區塊可分裂之最大次數，且亦可定義寫碼節點之最小大小。
CU包括寫碼節點及與寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且其形狀必須為正方形。CU之大小可在8×8個像素直至具有64×64個像素或更多像素的最大值之樹型區塊之大小的範圍內。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式在CU以跳躍或直接模式編碼、以框內預測模式編碼或是以框間預測模式編碼之間可能不同。PU可被分割為非正方形。與CU相關聯之語法資料亦可描述(例如)根據四分樹將CU分割成一或多個TU。TU可為正方形或非正方形。
HEVC標準允許根據TU之變換，該等變換對於不同CU可能不同。通常基於針對經分割LCU定義之給定CU內的PU之大小來設定TU之大小，但情況可能並非始終如此。TU通常與PU大小相同或小於PU。在一些實例中，對應於CU之殘餘樣本可使用被稱為「殘餘四分樹」(RQT)之四分樹結構而再分為較小單元。RQT之葉節點可被稱為變換單元(TU)。與TU相關聯之像素差值可經變換以產生變換係數，變換係數可被量化。
一般而言，PU包括與預測程序有關之資料。舉例而 言，當PU係以框內模式編碼時，PU可包括描述用於PU之框內預測模式之資料。作為另一實例，當PU係以框間模式編碼時，PU可包括定義用於PU之運動向量之資料。定義用於PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向之參考圖片及/或運動向量之參考圖片清單。
一般而言，將TU用於變換及量化程序。具有一或多個PU之給定CU亦可包括一或多個TU。在預測之後，視訊編碼器20可計算對應於PU之殘餘值。殘餘值包含像素差值，該等值可使用TU變換為變換係數，經量化並掃描以產生用於熵寫碼之串行化變換係數。本發明通常使用術語「視訊區塊」來指代CU之寫碼節點。在一些特定情況下，本發明亦可使用術語「視訊區塊」來指代樹型區塊(亦即，LCU)或CU，其包括寫碼節點及PU及TU。
視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)通常包含一系列一或多個視訊圖片。GOP可包括在GOP之標頭、圖片中之一或多者之標頭中或別處的語法資料，其描述包括於GOP中之若干圖片。圖片之每一切片可包括描述各別切片之編碼模式之切片語法資料。視訊編碼器20通常對個別視訊切片內之視訊區塊進行操作以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定之寫碼標準而在大小上不同。
作為實例，HM支援按各種PU大小之預測。假設特定CU之大小為2N×2N，HM支援按2N×2N或N×N之PU大小之框內預測，及按2N×2N、2N×N、N×2N或N×N之對稱PU大小之框間預測。HM亦支援用於按2N×nU、2N×nD、nL×2N及nR×2N之PU大小之框間預測的不對稱分割。在不對稱分割中，CU的一個方向未被分割，而另一方向經分割成25%及75%。CU之對應於25%分割區之部分係由「n」繼之以「上(Up)」、「下(Down)」、「左(Left)」或「右(Right)」之指示來指示。因此，舉例而言，「2N×nU」指代經水平分割而在頂部具2N×0.5N PU且在底部具2N×1.5N PU之2N×2N CU。
在本發明中，「N×N」及「N乘N」可互換地使用以指代視訊區塊在垂直尺寸及水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)，且在水平方向上將具有16個像素(x=16)。同樣，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上與在垂直方向上具有相同數目個像素。舉例而言，區塊可包含N×M個像素，其中M不必等於N。
在使用CU之PU的框內預測性寫碼或框間預測性寫碼之後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含空間域(亦被稱為像素域)中之像素資料，且TU可包含在對殘餘視訊資料應用變換(例如，離散餘弦變換(DCT)、整數 變換、小波變換或概念上類似之變換)之後在變換域中之係數。殘餘資料可對應於未經編碼之圖片之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料之TU，且接著變換TU以產生用於CU之變換係數。
在用以產生變換係數之任何變換之後，視訊編碼器20可執行變換係數之量化。量化通常指代量化變換係數以可能減少用以表示該等係數之資料量，從而提供進一步壓縮的程序。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。
在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數以產生可熵編碼之串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描該等經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法來對該一維向量進行熵編碼。視訊編碼器20亦可對與經編碼視訊資料相關聯之語法元素進行熵編碼以供視訊解碼器30在解碼視訊資料時使用。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指派給待傳輸之符號。該上下文可與(例如)符號之相鄰值是否係非零有關。為了執行CAVLC，視訊編碼器20 可選擇用於待傳輸符號之可變長度碼。可建構VLC中之碼字，以使得相對較短之碼對應於機率較大之符號，而較長碼對應於機率較低之符號。以此方式，較之於(例如)將相等長度碼字用於待傳輸之每一符號，使用VLC可達成位元節省。機率判定可基於指派給符號之上下文。
圖2為說明可實施本發明中所描述之技術以在變換跳躍模式中寫碼視訊區塊之重要係數資訊之實例視訊編碼器20之方塊圖。視訊編碼器20可執行視訊切片內之視訊區塊之框內及框間寫碼。框內寫碼依靠空間預測以減少或移除給定視訊圖框或圖片內之視訊中的空間冗餘。框間寫碼依靠時間預測以減少或移除視訊序列之鄰近圖框或圖片內之視訊中的時間冗餘。框內模式(I模式)可指代若干基於空間之壓縮模式中之任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指代若干基於時間之壓縮模式中之任一者。
在圖2之實例中，視訊編碼器20包括分割模組35、預測模組41、參考圖片記憶體64、求和器50、變換模組52、量化模組54及熵編碼模組56。預測模組41包括模式選擇模組40、變換跳躍模式選擇模組48、運動估計模組42、運動補償模組44及框內預測模組46。為了視訊區塊重建構，視訊編碼器20亦包括反量化模組58、反變換模組60及求和器62。亦可包括一解區塊濾波器(圖2中未圖示)以對區塊邊界進行濾波以自重建構之視訊移除方塊效應假影。若需要，解區塊濾波器通常可對求和器62之輸出進行濾波。除解區 塊濾波器外，亦可使用額外迴路濾波器(迴路內或迴路後)。
如圖2所示，視訊編碼器20接收視訊資料，且分割模組35將該資料分割成多個視訊區塊。此分割亦可包括分割成切片、方塊或其他較大單元，以及(例如)根據LCU及CU之四分樹結構之視訊區塊分割。視訊編碼器20通常說明編碼待編碼之視訊切片內之視訊區塊之組件。切片可劃分成多個視訊區塊(且可能劃分成被稱為方塊之視訊區塊之集合)。
預測模組41內的模式選擇模組40可基於錯誤結果(例如，寫碼速率及失真程度)為當前視訊區塊選擇複數個可能寫碼模式中之一者(諸如，複數個框內寫碼模式中之一者或複數個框間寫碼模式中之一者)。模式選擇模組40可在寫碼單元(CU)層級選擇寫碼模式。當對於當前視訊區塊啟用變換跳躍模式時，預測模組41內之變換跳躍模式選擇模組48可選擇待由變換模組52應用於當前視訊區塊之變換跳躍模式。變換跳躍模式選擇模組48可在變換單元(TU)層級選擇變換跳躍模式。
在一個實例中，變換跳躍模式選擇模組48可選擇一二維變換模式、一垂直一維變換模式、一水平一維變換模式或一無變換模式中之一者。在另一實例中，變換跳躍模式選擇模組48可在一二維變換模式與一無變換模式之間進行選擇。模式選擇模組40可基於視訊區塊之寫碼效率為當前視訊區塊選擇變換跳躍模式。舉例而言，當應用二維變換 (諸如，離散餘弦變換(DCT))不能提供寫碼效率上之任何增益時，可針對當前視訊區塊跳過一或多個方向上之變換。
在一些情況下，視訊編碼器20可基於視訊區塊之邊界包含預測單元(PU)邊界抑或非PU邊界而針對經框間寫碼之視訊區塊或變換單元(TU)啟用一變換跳躍模式。舉例而言，當視訊區塊在給定方向(例如，水平或垂直方向)上之邊界包含PU邊界及非PU邊界之給定組合(例如，PU-PU)時，視訊編碼器20可啟用一變換跳躍模式。在此情況下，視訊編碼器20可跳過給定方向上之變換之應用，或可發信在給定方向上應用抑或跳過變換。否則，視訊編碼器20可使用邊界相依變換模式或應用習知二維變換。在其他情況下，視訊編碼器20可將一變換跳躍模式用於視訊區塊，且基於視訊區塊之邊界係PU邊界抑或非PU邊界來判定用以編碼選定類型之變換跳躍模式之指示之上下文。
預測模組41內之框內預測模組46可相對於與待寫碼之當前區塊處於相同之圖框或切片中一或多個相鄰區塊執行當前視訊區塊之框內預測性寫碼以提供空間壓縮。預測模組41內之運動估計模組42及運動補償模組44相對於一或多個參考圖片中之一或多個預測性區塊執行當前視訊區塊之框間預測性寫碼以提供時間壓縮。預測模組41可將所得之經框內或框間寫碼之區塊提供至求和器50以產生殘餘區塊資料，且提供至求和器62以重建構經編碼區塊以用作參考圖片。
運動估計模組42可經組態以根據視訊序列之預定型樣判定用於視訊切片之框間預測模式。預定型樣可將序列中之視訊切片指明為P切片、B切片或GPB切片。運動估計模組42及運動補償模組44可高度整合，但為概念目的而單獨說明。由運動估計模組42執行之運動估計為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示當前視訊圖框或圖片內之視訊區塊之PU相對於參考圖片內之預測性區塊之位移。
預測性區塊為經發現在像素差方面緊密匹配待寫碼之視訊區塊之PU的區塊，像素差可藉由絕對差之和(SAD)、平方差之和(SSD)或其他差量度來判定。在一些實例中，視訊編碼器20可計算儲存於參考圖片記憶體64中之參考圖片之次整數像素位置之值。舉例而言，視訊編碼器20可內插參考圖片之四分之一像素位置、八分之一像素位置或其他分數像素位置之值。因此，運動估計模組42可相對於完整像素位置及分數像素位置執行運動搜尋，且輸出具有分數像素精度之運動向量。
運動估計模組42藉由比較PU之位置與參考圖片之預測性區塊之位置來計算用於經框間寫碼之切片中的視訊區塊之PU的運動向量。參考圖片可選自第一參考圖片清單(清單0)或第二參考圖片清單(清單1)，該等清單中之每一者識別儲存於參考圖片記憶體64中之一或多個參考圖片。運動估計模組42將所計算出之運動向量發送至熵編碼模組56及運動補償模組44。
由運動補償模組44執行之運動補償可涉及基於由運動估計判定之運動向量來提取或產生預測性區塊，可能執行至子像素精度之內插。在接收到用於當前視訊區塊之PU的運動向量時，運動補償模組44可在參考圖片清單中之一者中定位運動向量所指向之預測性區塊。視訊編碼器20藉由自正被寫碼之當前視訊區塊之像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值。像素差值形成區塊之殘餘資料，且可包括明度差分量及色度差分量兩者。求和器50表示執行此減法運算之一或多個組件。運動補償模組44亦可產生與視訊區塊及視訊切片相關聯之語法元素以供視訊解碼器30在解碼視訊切片之視訊區塊時使用。
框內預測模組46可框內預測當前區塊，以作為如上所述的由運動估計模組42及運動補償模組44執行之框間預測之替代。詳言之，框內預測模組46可判定用以編碼當前區塊之框內預測模式。在一些實例中，框內預測模組46可(例如)在單獨編碼遍次期間使用各種框內預測模式編碼當前區塊，且框內預測模組46(或在一些實例中，模式選擇模組40)可自經測試模式選擇適當框內預測模式來使用。舉例而言，框內預測模組46可使用對各種經測試框內預測模式之位元率失真分析計算位元率失真值，且在經測試模式中選擇具有最佳位元率失真特性之框內預測模式。位元率失真分析通常判定經編碼區塊與經編碼以產生經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量，以及用以 產生經編碼區塊之位元率(亦即，位元之數目)。框內預測模組46可根據各種經編碼區塊之失真及位元率計算比率以判定哪一框內預測模式展現區塊之最佳位元率失真值。
在任何情況下，在選擇用於區塊之框內預測模式之後，框內預測模組46可將指示用於區塊之選定框內預測模式之資訊提供至熵寫碼模組56。熵寫碼模組56可根據本發明之技術編碼指示選定框內預測模式之資訊。視訊編碼器20可在所傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改框內預測模式索引表(亦被稱為碼字映射表)、各種區塊之編碼上下文之定義及用於上下文中之每一者的最大機率框內預測模式、框內預測模式索引表及經修改框內預測模式索引表之指示。
在預測模組41經由框間預測或框內預測產生當前視訊區塊之預測性區塊之後，視訊編碼器20藉由自當前視訊區塊減去預測性區塊而形成殘餘視訊區塊。殘餘區塊中之殘餘視訊資料可包括於一或多個TU中且被應用於變換模組52。變換模組52可使用一變換(諸如，離散餘弦變換(DCT)或一概念上類似之變換)將殘餘視訊資料變換成殘餘變換係數。變換模組52可將殘餘視訊資料自像素域變換至諸如頻域之變換域。
習知地，變換模組52將二維變換(亦即，在水平及垂直方向兩者上)應用於TU中之殘餘資料。根據本發明之技術，變換模組52可改為將一選定變換跳躍模式(其可包含 二維變換、水平一維變換、垂直一維變換或無變換)應用於TU中之每一者中之殘餘資料。將關於圖4A至圖4D更詳細地描述變換跳躍模式中所提供的不同類型之變換。
變換模組52可將所得變換係數發送至量化模組54。量化模組54量化該等變換係數以進一步減小位元率。量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。可藉由調整量化參數來修改量化程度。在一些實例中，量化模組54可接著執行包括經量化之變換係數之矩陣之掃描。或者，熵編碼模組56可執行該掃描。
在量化之後，熵編碼模組56熵編碼經量化之變換係數。舉例而言，熵編碼模組56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法或技術。在熵編碼模組56進行之熵編碼之後，經編碼位元串流可被傳輸至視訊解碼器30，或存檔以供稍後傳輸或由視訊解碼器30擷取。熵編碼模組56亦可熵編碼用於正被寫碼之當前視訊切片之運動向量及其他語法元素。
根據本發明之技術，熵編碼模組56使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來編碼用於經量化之變換係數之區塊的重要係數資訊。舉例而言，重要係數資訊包括視訊區塊內之最後一個非零係數之位置及視訊區塊之重要性圖中之至少一者。將關於圖6A至圖6C及圖11更詳細地描述用以在選定變換跳躍模式中編碼視訊區塊內 之最後一個非零係數資訊的寫碼程序。關於圖7A至圖7C、圖8A至圖8C、圖12及圖13更詳細地描述用以在選定變換跳躍模式中編碼視訊區塊之重要性圖的寫碼程序。
在一些情況下，熵編碼模組56可熵編碼針對正被寫碼之視訊區塊是否啟用了變換跳躍模式之指示，且，若變換跳躍模式經啟用，則熵編碼模組56亦可對用於視訊區塊之選定變換跳躍模式之指示進行熵編碼。關於圖9、圖13及圖14更詳細地描述用以啟用變換跳躍模式及編碼用於視訊區塊之選定變換跳躍模式之指示之程序。
反量化模組58及反變換模組60分別應用反量化及反變換，以重建構像素域中之殘餘區塊以供稍後用作為參考圖片之參考區塊。運動補償模組44可藉由將殘餘區塊加至參考圖片清單中之一者內的參考圖片中之一者之預測性區塊來計算參考區塊。運動補償模組44亦可將一或多個內插濾波器應用於重建構之殘餘區塊以計算次整數像素值以供在運動估計中使用。求和器62將重建構之殘餘區塊加至由運動補償模組44產生的經運動補償之預測區塊以產生參考區塊以儲存於參考圖片記憶體64中。參考區塊可由運動估計模組42及運動補償模組44用作參考區塊來框間預測隨後視訊圖框或圖片中之區塊。
圖3為說明可實施本發明中所描述之技術以在變換跳躍模式中寫碼視訊區塊之重要係數資訊之實例視訊解碼器30之方塊圖。在圖3之實例中，視訊解碼器30包括熵解碼模組80、預測模組81、反量化模組86、反變換模組88、求和 器90及參考圖片記憶體92。預測模組81包括運動補償模組82及框內預測模組84。在一些實例中，視訊解碼器30可執行與關於來自圖2之視訊編碼器20所描述之編碼遍次大體上互反之解碼遍次。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收表示經編碼視訊切片之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼模組80熵解碼該位元串流以產生經量化之係數、運動向量及其他語法元素。熵解碼模組80將運動向量及其他語法元素轉發至預測模組81。視訊解碼器30可接收視訊切片層級及/或視訊區塊層級的語法元素。
當針對待解碼之視訊區塊啟用一變換跳躍模式時，熵解碼模組80對位元串流進行熵解碼以亦產生用於視訊區塊之選定變換跳躍模式之指示。熵解碼模組80接著基於自視訊編碼器20接收的選定變換跳躍模式之指示來選擇變換跳躍模式。舉例而言，選定變換跳躍模式之指示可指示二維變換模式、垂直一維變換模式、水平一維變換模式或無變換模式中之一者。熵解碼模組80將選定變換跳躍模式轉發至反變換模組88。
在一些情況下，視訊解碼器30可基於視訊區塊之邊界包含預測單元(PU)邊界抑或非PU邊界來推斷用於經框間寫碼之視訊區塊或變換單元(TU)之變換跳躍模式。舉例而言，當視訊區塊在給定方向(例如，水平或垂直方向)上之邊界包含PU邊界及非PU邊界之給定組合(例如，PU-PU)時，視 訊解碼器30可推斷變換跳躍模式。在此情況下，視訊解碼器30可跳過給定方向上之變換之應用，或可解碼在給定方向上應用抑或跳過變換之指示。否則，視訊解碼器30可使用邊界相依變換模式或應用習知二維變換。在其他情況下，視訊解碼器30可將變換跳躍模式用於視訊區塊，且基於視訊區塊之邊界係PU邊界抑或非PU邊界來判定用以解碼選定變換跳躍模式之指示之上下文。關於圖9、圖13及圖14更詳細地描述用以推斷變換跳躍模式及解碼用於視訊區塊之選定變換跳躍模式之指示之程序。
當視訊切片經寫碼為框內寫碼(I)之切片時，預測模組81之框內預測模組84可基於所發信之框內預測模式及來自當前圖框或圖片之先前經解碼區塊之資料來產生用於當前視訊切片之視訊區塊之預測資料。當視訊圖框經寫碼為框間寫碼(亦即，B或P)切片時，預測模組81之運動補償模組82基於自熵解碼模組80接收之運動向量及其他語法元素來產生用於當前視訊切片之視訊區塊的預測性區塊。該等預測性區塊可根據參考圖片清單中之一者內的參考圖片中之一者產生。視訊解碼器30可基於儲存於參考圖片記憶體92中之參考圖片使用預設建構技術來建構參考圖框清單(清單0及清單1)。
運動補償模組82藉由剖析運動向量及其他語法元素來判定用於當前視訊切片之視訊區塊之預測資訊，且使用該預測資訊產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償模組82使用所接收之語法元素中之一 些判定用以寫碼視訊切片之視訊區塊之預測模式(例如，框內或框間預測)、框間預測切片類型(例如，B切片或P切片)、用於切片之參考圖片清單中之一或多者之建構資訊、用於切片之每一框間編碼視訊區塊之運動向量、用於切片之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊切片中之視訊區塊的其他資訊。
運動補償模組82亦可基於內插濾波器執行內插。運動補償模組82可使用由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器來計算用於參考區塊之次整數像素之內插值。在此情況下，運動補償模組82可根據所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
反量化模組86反量化(亦即，解量化)提供於位元串流中且由熵解碼模組80解碼之經量化變換係數。反量化程序可包括將由視訊編碼器20針對視訊切片中之每一視訊區塊計算之量化參數用以判定量化之程度及(同樣地)應該應用的反量化之程度。反變換模組88將反變換(例如，反DCT、反整數變換或概念上類似之反變換程序)應用於變換係數以便產生像素域中之殘餘區塊。
習知地，反變換模組88將二維變換(亦即，在水平及垂直方向兩者上)應用於TU之係數。根據本發明之技術，反變換模組88可改為將選定變換跳躍模式(其可包含二維變換、水平一維變換、垂直一維變換或無變換)應用於TU中之每一者中之係數。關於圖4A至圖4D更詳細地描述變換 跳躍模式中所提供的不同類型之變換。
視訊解碼器30之熵解碼模組80使用至少部分地基於該選定變換跳躍模式定義之一寫碼程序來解碼當前視訊區塊之重要係數資訊。舉例而言，重要係數資訊包括視訊區塊內之最後一個非零係數之位置及視訊區塊之重要性圖中之至少一者。關於圖6A至圖6C及圖11更詳細地描述用以在選定變換跳躍模式中解碼視訊區塊內之最後一個非零係數資訊的寫碼程序。關於圖7A至圖7C、圖8A至圖8C、圖12及圖13更詳細地描述用以在選定變換跳躍模式中解碼視訊區塊之重要性圖的寫碼程序。
在運動補償模組82基於運動向量及其他語法元素產生用於當前視訊區塊之預測性區塊之後，視訊解碼器30藉由將來自反變換模組88之殘餘區塊與由運動補償模組82產生之對應預測性區塊相加而形成經解碼視訊區塊。求和器90表示執行此求和運算之一或多個組件。若需要，亦可應用解區塊濾波器來對經解碼區塊進行濾波以便移除方塊效應假影。其他迴路濾波器(在寫碼迴路中或在寫碼迴路之後)亦可用以平滑化像素轉變或以其他方式改良視訊品質。給定圖框或圖片中之經解碼視訊區塊接著被儲存於儲存用於隨後運動補償之參考圖片之參考圖片記憶體92中。參考圖片記憶體92亦儲存經解碼視訊以供稍後呈現於顯示器件(諸如圖1之顯示器件34)上。
圖4A至圖4D為說明在變換跳躍模式中使用二維變換、水平一維變換、垂直一維變換及無變換而變換成係數之殘 餘視訊資料之區塊之實例的概念圖。如圖4A至圖4D中所展示，視訊資料之8×8區塊(例如，CU之TU)可包括在對應區塊位置中之六十四個殘餘像素值，以圓圈指示。舉例而言，區塊100、102、104及106可各自具有8×8之大小，且因此包括使用先前描述之預測技術產生之六十四個殘餘像素值。
根據本發明中所描述之技術，可將變換跳躍模式應用於區塊100、102、104及106中之每一者。變換跳躍模式提供更多變換選擇而非始終進行殘餘視訊區塊之二維變換。區塊100、102、104及106中之每一者中的六十四個殘餘像素值可使用二維變換、水平一維變換、垂直一維變換或無變換中之一者變換成係數。
用於變換係數寫碼之習知技術採用二維變換。若為一視訊區塊選擇其中一或多個變換被跳過的變換跳躍模式，則視訊區塊之係數之統計資料將與二維變換情況下的不同。習知寫碼程序因此可能並非用以寫碼視訊區塊之重要係數資訊的最有效率之程序。本發明之技術描述至少部分地基於用於視訊區塊之選定變換跳躍模式使用不同寫碼程序來對重要係數資訊(其包括視訊區塊內之最後一個非零係數之位置及視訊區塊之重要性圖)進行寫碼。
如圖4A中所展示，應用於區塊100之變換跳躍模式為二維變換模式。二維變換模式在水平方向及垂直方向兩者上將殘餘像素值變換成變換係數，如圖4A中之箭頭所指示。如圖4B中所展示，應用於區塊102之變換跳躍模式為水平 一維變換模式。水平一維變換模式僅在水平方向上將殘餘像素值變換成變換係數，如圖4B中之箭頭所指示。在此情況下，垂直方向上之變換被跳過。
在圖4C中，應用於區塊104之變換跳躍模式為垂直一維變換模式。垂直一維變換模式僅在垂直方向上將殘餘像素值變換成變換係數，如圖4C中之箭頭所指示。在此情況下，水平方向上之變換被跳過。在圖4D中，應用於區塊106之變換跳躍模式為無變換模式，在該模式中無變換被應用於殘餘像素值，如圖4D中不存在箭頭所指示。在此情況下，垂直方向及水平方向兩者上之變換被跳過。在無變換模式中，視訊區塊之變換係數包含殘餘像素值。
在其他實例中，如上所述，區塊可具有小於或大於區塊100、102、104及106之大小的大小，且可包括更多或更少殘餘像素值及對應區塊位置。在此等實例中，應用於特定區塊之變換跳躍模式可以實質上類似於圖4A至圖4D之區塊100、102、104及106中所展示之方式的方式將殘餘像素值變換成變換係數。
圖5A至圖5D為說明使用Z字形掃描次序、水平掃描次序、垂直掃描次序及對角線掃描次序掃描的視訊資料區塊之實例的概念圖。如圖5A至圖5D中所展示，視訊資料之8×8區塊(例如，CU之TU)可包括在對應區塊位置中之六十四個經量化之變換係數，以圓圈指示。舉例而言，區塊110、112、114及116可各自具有8×8之大小，且因此包括使用上文關於圖4A至圖4D所描述之變換跳躍模式產生的 六十四個經量化之變換係數。視訊區塊110、112、114及116中之每一者中的經量化之變換係數係使用Z字形掃描次序、水平掃描次序、垂直掃描次序及對角線掃描次序中之一者加以掃描以準備進行熵寫碼。
如圖5A中所展示，與區塊110相關聯之掃描次序為Z字形掃描次序。Z字形掃描次序以如圖5A中之箭頭所指示之對角線方式掃描區塊110之經量化之變換係數。類似地，在圖5D中，對角線掃描次序以如圖5D中之箭頭所指示之對角線方式掃描區塊116之經量化之變換係數。如圖5B及圖5C中所展示，與區塊112及114相關聯之掃描次序分別為水平掃描次序及垂直掃描次序。亦如圖5B及圖5C中之箭頭所指示，水平掃描次序以水平逐線或「光柵」方式掃描區塊112之經量化之變換係數，而垂直掃描次序以垂直逐線或「旋轉光柵」方式掃描區塊114之經量化之變換係數。
在其他實例中，如上所述，區塊可具有小於或大於區塊110、112、114及116之大小的大小，且可包括更多或更少經量化之變換係數及對應區塊位置。在此等實例中，與特定區塊相關聯之掃描次序可以實質上類似於圖5A至圖5D之8×8區塊之實例中所展示之方式的方式掃描區塊之經量化之變換係數，例如，可按先前描述之掃描次序中之任一者掃描4×4區塊或16×16區塊。較大區塊可劃分成較小子區塊，且相同掃描次序可應用於子區塊內以及跨子區塊之樣本。
一般而言，圖5A至圖5D中所說明之掃描次序中之任一者可應用於使用圖4A至圖4D中所說明之變換跳躍模式中之任一者產生的經量化變換係數之區塊。然而，在一個實例中，圖5A中所說明之Z字形掃描次序或圖5D中所說明之對角線掃描次序可最常應用於包括在變換跳躍模式中使用二維變換抑或無變換產生之係數之視訊區塊。在另一實例中，圖5B中所說明之水平掃描次序可最常應用於包括在變換跳躍模式中使用垂直一維變換產生之係數之視訊區塊。作為其他實例，圖5A中所說明之Z字形掃描次序、圖5C中所說明之垂直掃描次序或圖5D中所說明之對角線掃描次序可最常應用於包括在變換跳躍模式中使用水平一維變換產生之係數之視訊區塊。
圖6A至圖6C為說明變換跳躍模式中的視訊資料區塊及對應重要係數位置資訊(亦即，重要性圖)及最後一個非零係數位置資訊之實例的概念圖。本發明之技術描述至少部分地基於用於視訊區塊之選定變換跳躍模式使用不同寫碼程序對重要係數資訊(其包括視訊區塊內之最後一個非零係數之位置及視訊區塊之重要性圖)進行寫碼。
如圖6A中所展示，視訊資料區塊(例如，CU之TU)可包括不同值或位準之經量化變換係數。舉例而言，如圖6A中所展示，區塊120可包括使用先前描述之預測、變換及量化技術產生的經量化之變換係數。在一個實例中，區塊120具有2N×2N之大小，其中N等於二。因此，區塊120具有4×4之大小，且包括十六個經量化之變換係數，亦如圖 6A中所展示。另外，與區塊120相關聯之掃描次序為(例如)Z字形掃描次序，如上文更詳細地描述之圖5A中所展示。根據本實例，根據Z字形掃描次序的區塊120內之最後重要係數為位於區塊120內之位置121中的等於「1」之經量化變換係數。
在其他實例中，區塊可具有小於或大於區塊120之大小的大小，且可包括比區塊120多或少的經量化之變換係數。在另外其他實例中，與區塊120相關聯之掃描次序可為一不同掃描次序，例如，水平掃描次序、垂直掃描次序、對角線掃描次序或另一掃描次序。
圖6B說明區塊122中所表示之重要係數位置資訊(亦即，重要性圖)之實例。在圖6B之實例中，區塊122可對應於圖6A中所描繪之區塊120。換言之，區塊122之重要係數旗標可對應於區塊120之經量化之變換係數。如圖6B中所展示，區塊122之等於「1」之重要係數旗標對應於區塊120之非零或重要係數。類似地，區塊122之等於「0」之重要係數旗標對應於區塊120之零或非重要係數。
在本實例中，對應於區塊120內根據Z字形掃描次序之最後重要係數的區塊122之重要係數旗標為位於區塊122內之位置123中的等於「1」之重要係數旗標。在其他實例中，用以指示重要或非重要係數之重要係數旗標之值可改變(例如，等於「0」之重要係數旗標可對應於重要係數，且等於「1」之重要係數旗標可對應於非重要係數)。
圖6C說明區塊124中所表示之最後一個非零係數位置資 訊之實例。在圖6C之實例中，區塊124可對應於圖6A及圖6B中分別描繪之區塊120及區塊122。換言之，區塊124之最後重要係數旗標可對應於區塊120之經量化之變換係數，且對應於區塊122之重要係數旗標。
如圖6C中所展示，等於「1」、位於區塊124內之位置126中的區塊124之最後重要係數旗標對應於區塊120之最後一個非零係數，且對應於根據Z字形掃描次序的區塊122之等於「1」的重要係數旗標中之最後一者。類似地，區塊124之等於「0」之最後重要係數旗標(亦即，所有剩餘的最後重要係數旗標)對應於區塊120之零或非重要係數，且對應於根據Z字形掃描次序的區塊122的除此等重要係數旗標中之最後一者以外的等於「1」之所有重要係數旗標。
用以指示根據一掃描次序之最後一個非零係數之最後重要係數旗標之值可改變(例如，等於「0」之最後重要係數旗標可對應於根據掃描次序之最後一個非零係數，且等於「1」之最後重要係數旗標可對應於所有剩餘係數)。在任何情況下，區塊122之重要係數旗標及區塊124之最後重要係數旗標可被共同稱為區塊120之重要係數資訊。
在一個實例中，本發明之技術描述至少部分地基於用於視訊區塊之選定變換跳躍模式使用不同寫碼程序對視訊區塊內之最後一個非零係數之位置進行寫碼。變換跳躍模式可包含二維變換模式、垂直一維變換模式、水平一維變換模式及無變換模式，如圖4A至圖4D中所說明。一般而言，視訊區塊之最後一個非零係數之位置視應用於視訊區 塊之掃描次序而定。掃描次序可包含Z字形掃描次序、水平掃描次序、垂直掃描次序及對角線掃描次序，如圖5A至圖5D中所說明。在寫碼視訊區塊之重要性圖(圖6B中所說明)及視訊區塊之係數位準資訊(圖6A中所說明)之前，可顯式地寫碼視訊區塊之最後一個非零係數之位置。
如圖6C中所說明，區塊124內按Z字形掃描次序的最後一個非零係數之位置126可由(lastX,lastY)來指示，其中lastX指示最後一個非零係數之行索引，且lastY指示最後一個非零係數之列索引。當使用如圖5C中所說明之垂直掃描時，出於寫碼目的，交換lastX及lastY之值。當將二維變換應用於視訊區塊以將殘餘像素值變換成係數時，lastX及lastY通常具有小的量值，因為，在量化之後，非零係數集中在視訊區塊之較低頻率(亦即，左上角)中。lastX及lastY之發信經設計以利用非零係數之典型位置。
作為實例，在選擇垂直一維變換模式以使得在水平方向上跳過變換之情況下，可將如圖5B中所說明之水平掃描應用於視訊區塊，且與二維變換模式相比，lastX更可能有較高值。替代以類似於二維變換模式之方式對lastX進行寫碼，本發明中所描述之技術提供寫碼lastX之三個方法，將在下文更詳細地描述。
作為另一實例，在選擇水平一維變換模式以使得在垂直方向上跳過變換之情況下，將如圖5C中所說明之垂直掃描應用於視訊區塊且交換lastX及lastY之值，以使得lastX指示最後一個非零係數之列索引且lastY指示最後一個非零係 數之行索引。在此情況下，再一次地，與二維變換模式相比，lastX更可能有較高值。因此，當僅在一個方向(水平或垂直)上應用變換時，使用下文所描述之三個方法中之一者對lastX進行寫碼。在此等情況下，以與二維變換模式中相同之方式對lastY進行寫碼。
作為又一實例，在選擇無變換模式以使得在垂直方向及水平方向兩者上皆跳過變換之情況下，與二維變換模式相比，lastX以及lastY更可能有較高值。在此情況下，使用下文所描述之三個方法中之一者對lastX及lastY兩者進行寫碼。
就對lastX進行寫碼來描述用於寫碼視訊區塊內之最後一個非零係數之位置之三個方法。將理解，當在水平方向抑或垂直方向上皆不將變換應用於視訊區塊之殘餘像素值時，將相同方法應用於對lastY進行寫碼。雖然在本文中主要描述為應用於正方形視訊區塊，但變換跳躍模式可應用於矩形(亦即，非正方形)區塊。在該情況下，下文所描述之用於寫碼視訊區塊內之最後一個非零係數之位置的三個方法可應用於非正方形區塊。
在第一方法中，使用固定數目個位元對lastX進行寫碼，而非使用可變長度碼。更特定言之，可將lastX之值二進位化成具有固定數目個位元之二進位位元表示，且接著使用CABAC之旁路模式(bypass mode)對二進位化之索引之每一位元進行寫碼。
位元之固定數目可等於區塊大小之log2。舉例而言，在 來自圖6C之包含4×4區塊之區塊124的情況下，用以寫碼最後一個非零係數之列索引的位元之固定數目可等於2，其為表示0、1、2及3之行或列索引所需的二進位位元之數目。作為另一實例，在區塊具有大小16×16之情況下，位元之固定數目可等於4。在其他實例中，視訊區塊可包含矩形區塊且用以編碼lastX的位元之固定數目可視區塊在相關方向上之尺寸而定。舉例而言，若僅跳過水平變換且使用水平掃描，則用於lastX的位元之數目等於區塊寬度之log2。若僅跳過垂直變換且使用垂直掃描，則歸因於使用垂直掃描時lastX與lastY之交換，用於lastX的位元之數目等於區塊高度之log2。
當將垂直一維變換模式應用於視訊區塊且將水平掃描次序應用於變換係數時，lastX指示視訊區塊內之最後一個非零係數之行，且lastY指示視訊區塊內之最後一個非零係數之列。在此情況下，使用基於視訊區塊之寬度的固定數目個位元對lastX進行寫碼，且使用針對二維變換模式定義之用於寫碼列索引之程序對lastY進行寫碼。
當將水平一維變換模式應用於視訊區塊且將垂直掃描次序應用於變換係數時，交換lastX及lastY之值，以使得lastX指示視訊區塊內之最後一個非零係數之列，且lastY指示視訊區塊內之最後一個非零係數之行。在此情況下，使用基於視訊區塊之高度的固定數目個位元對lastX進行寫碼，且使用針對二維變換模式定義之用於寫碼行索引之程序對lastY進行寫碼。
當將無變換模式應用於視訊區塊時，lastX指示視訊區塊內之最後一個非零係數之行，且lastY指示視訊區塊內之最後一個非零係數之列。在此情況下，使用分別基於視訊區塊之高度及寬度的固定數目個位元對lastX及lastY進行寫碼。
在第二方法中，替代對lastX進行寫碼，對B-1-lastX進行寫碼，其中B為區塊大小。對於二維變換模式，用於寫碼B-1-lastX之上下文可與用於寫碼lastX之上下文相同。或者，對於二維變換模式，可將單獨上下文用於寫碼B-1-lastX及寫碼lastX。此方法特別適合於視訊區塊中之最後一個非零係數靠近區塊的相對於掃描次序之末端之情況。由於lastX之位置被從區塊大小減去，故當lastX之位置位於最接近區塊之右側之行處或在垂直掃描之情況下位於最接近區塊之底部之列處時，將產生小值。
當將垂直一維變換模式應用於視訊區塊且將水平掃描次序應用於變換係數時，lastX指示視訊區塊內之最後一個非零係數之行，且lastY指示視訊區塊內之最後一個非零係數之列。在此情況下，使用B h -1-lastX對lastX進行寫碼，其中B h 為水平區塊大小，亦即，視訊區塊之寬度，且使用針對二維變換模式定義之用於寫碼列索引之程序對lastY進行寫碼。
當將水平一維變換模式應用於視訊區塊且將垂直掃描次序應用於變換係數時，交換lastX及lastY之值，以使得lastX指示視訊區塊內之最後一個非零係數之列，且lastY指示視訊區塊內之最後一個非零係數之行。在此情況下， 使用B v -1-lastX對lastX進行寫碼，其中B v 為垂直區塊大小，亦即，視訊區塊之高度，且使用針對二維變換模式定義之用於寫碼行索引之程序對lastY進行寫碼。
當將無變換模式應用於視訊區塊時，lastX指示視訊區塊內之最後一個非零係數之行，且lastY指示視訊區塊內之最後一個非零係數之列。在此情況下，分別使用B h -1-lastX及B v -1-lastX對lastX及lastY進行寫碼，其中分別地，B h 為水平區塊大小且B v 為垂直區塊大小。
對於變換跳躍模式之類型單獨地描述第三方法。在第一實例中，當將垂直一維變換模式應用於視訊區塊(亦即，水平變換被跳過)且將水平掃描次序應用於變換係數時，lastX之寫碼被跳過且以與二維變換模式中相同之方式對lastY進行寫碼。在此情況下，使用如圖5B中所說明之水平掃描次序來掃描經垂直變換之係數。由於LastY經寫碼，故視訊解碼器30知道對應於最後一個非零係數之列之索引。然而，因為跳過lastX之寫碼之技術，所以對應於最後一個非零係數之行之索引係未知的。
習知地，在二維變換的情況下，最後一個非零係數之重要性未經寫碼，因為可推斷出最後一個非零係數為重要的。當對應於最後重要係數之行之索引未知時，不可再假定最後一個非零係數之重要性。根據本發明之技術，對由lastY指示之列內之所有係數的重要性圖進行寫碼且將該重要性圖發送至視訊解碼器30。該重要性圖識別視訊區塊之所指示列內之每一非零係數之位置，以使得所指示列中之 相對於水平掃描次序的最後一個非零係數之位置將為視訊區塊內之最後一個非零係數。
當將水平一維變換模式應用於視訊區塊(亦即，垂直變換被跳過)且將垂直掃描次序應用於變換係數時，再次跳過lastX之寫碼且以與二維變換模式中相同之方式對lastY進行寫碼。請回憶：在此情況下，交換lastX值與lastY值，以使得lastX指示最後一個非零係數之列索引，且lastY指示最後一個非零係數之行索引。在此情況下，使用如圖5C中所說明之垂直掃描次序來掃描經水平變換之係數。由於LastY經寫碼，故視訊解碼器30知道對應於最後一個非零係數之行之索引。然而，因為該等技術跳過lastX之寫碼，所以對應於最後一個非零係數之列之索引係未知的。在此情況下，根據本發明之技術，對由lastY指示之行內之所有係數的重要性圖進行寫碼且將該重要性圖發送至視訊解碼器30。該重要性圖識別視訊區塊之所指示行內之每一非零係數之位置，以使得所指示行中之相對於垂直掃描次序的最後一個非零係數之位置將為視訊區塊內之最後一個非零係數。
當將無變換模式應用於視訊區塊(亦即，在水平抑或垂直方向上不應用變換)時，lastX以及lastY之寫碼被跳過。在此情況下，對視訊區塊內之所有係數(包括最後一個非零係數)的重要性圖進行寫碼且將該重要性圖發送至視訊解碼器30。該重要性圖識別視訊區塊內之每一非零係數之位置，以使得視訊中之相對於掃描次序的最後一個非零係 數之位置將為視訊區塊內之最後一個非零係數。
上文所描述之第一、第二及第三方法係基於在僅跳過垂直變換時使用垂直掃描且在僅跳過水平變換時使用水平掃描之假設。然而，在一些實例中，當僅垂直變換或僅水平變換被跳過時，可使用分別由圖5A及圖5D說明之Z字形或對角線掃描。在此情況下，不發生lastX及lastY之交換。
另外，在上文主要關於正方形區塊描述該等方法，但方法亦可應用於矩形(亦即，非正方形)區塊而非正方形區塊。在任一情況下，上文所描述之用於寫碼區塊內之最後一個非零係數之位置之方法可經適當修改以考慮到區塊之寬度及高度。
在一些實例中，在兩個步驟中編碼視訊區塊內之最後一個非零係數之位置。在第一步驟中，對最後一個非零係數之位置所屬的區間(例如，視訊區塊之列或行)之索引進行上下文寫碼。在第二步驟中，對區間內之最後一個非零係數之位置進行旁路寫碼。為了將經旁路寫碼之二進位(bin)分群在一起，首先對lastX及lastY之經上下文寫碼之二進位進行編碼。此繼之以lastX及lastY之旁路二進位。
對於上文所描述之使用固定數目個位元對lastX進行寫碼之第一方法，當僅水平變換被跳過時或當僅垂直變換被跳過且掃描為垂直的時，藉以對lastX及lastY之二進位位元(亦即，二進位)進行寫碼之次序如下(假設對lastX進行寫碼，繼之以lastY)：(1)lastX之經旁路寫碼之固定數目個二進位，(2)lastY之經上下文寫碼之二進位，及(3)lastY之 經旁路寫碼之二進位。在上述情況下，經旁路寫碼之二進位被分裂。為了避免此分裂，當僅水平變換被跳過時，或當僅垂直變換被跳過且掃描為垂直的時，藉以對二進位進行寫碼之次序可修改為如下：(1)lastY之經上下文寫碼之二進位，(2)lastY之經旁路寫碼之二進位，及(3)lastX之經旁路寫碼之固定數目個二進位。以此方式，將經旁路寫碼之二進位分群在一起。視訊解碼器30接著以相同次序解碼資料。
根據本發明之技術，可基於選定變換跳躍模式以特定次序對表示視訊區塊內之最後一個非零係數之位置的二進位位元進行寫碼。舉例而言，在二維變換模式中，藉以對二進位進行寫碼之次序為如下：(1)lastX之經上下文寫碼之二進位，(2)lastY之經上下文寫碼之二進位，(3)lastX之經旁路寫碼之二進位，及(4)lastY之經旁路寫碼之二進位。在僅水平變換被跳過之情況下或僅垂直變換被跳過且掃描為垂直的之情況下，藉以對二進位進行寫碼之次序為如下：(1)lastY之經上下文寫碼之二進位，(2)lastY之經旁路寫碼之二進位，及(3)lastX之經旁路寫碼之固定數目個二進位。
在僅垂直變換被跳過且使用非垂直掃描以使得不發生lastX及lastY之交換之情況下，藉以對二進位進行寫碼之次序為如下：(1)lastX之經上下文寫碼之二進位，(2)lastX之經旁路寫碼之二進位，及(3)lastY之經旁路寫碼之固定數目個二進位。在水平變換及垂直變換均被跳過之情 況下，藉以對二進位進行寫碼之次序為如下：(1)lastX之經旁路寫碼之固定數目個二進位，及(2)lastY之經旁路寫碼之固定數目個二進位。
圖7A至圖7C為說明視訊資料之區塊及在變換跳躍模式中供區塊、區塊之每一行及區塊之每一列共用之重要性圖上下文之實例的概念圖。本發明之技術描述至少部分地基於視訊區塊之選定變換跳躍模式使用不同寫碼程序來寫碼重要係數資訊(包括視訊區塊之重要性圖)。變換跳躍模式可包含二維變換模式、垂直一維變換模式、水平一維變換模式及無變換模式，如圖4A至圖4D中所說明。
習知地，在以用於視訊區塊之掃描次序寫碼最後一個非零係數之位置之後，對視訊區塊之重要性圖進行寫碼以識別視訊區塊內之每一非零係數(最後一個非零係數除外)之位置。對於16×16及32×32區塊，可將五個係數之因果(以反掃描次序)鄰域(neighborhood)用以判定用於寫碼一給定係數之重要性圖的上下文。替代因果鄰域，亦可使用鄰近當前視訊區塊之右邊及底部4×4子區塊之經寫碼子區塊旗標來判定用於寫碼重要性圖之上下文。此等寫碼技術所基於之理論基礎為：當重要係數存在於鄰域中時，該給定係數係重要的之機率增加。
對於4×4及8×8區塊，使用不同上下文。詳言之，對於4×4區塊，可對每個係數位置使用單獨上下文。因此，4×4區塊可使用總共30個上下文(亦即，用於明度之15個上下文及用於色度之15個上下文)。類似地，對於8×8區塊，上 下文可為位置相依的，其中8×8區塊之每一2×2子區塊共用上下文。因此，8×8區塊可使用32個上下文(亦即，用於明度之16個上下文及用於色度之16個上下文)。
然而，當在一個或兩個方向上跳過變換時，基於位置之上下文可能無法達成良好寫碼效率。舉例而言，若垂直變換被跳過，則一個行中之變換係數之統計資料可非常類似，但歸因於僅應用水平變換，變換係數之統計資料可在行與行間改變。類似地，當不將變換應用於視訊區塊時，區塊內之所有係數可具有類似統計資料。
本發明之技術之一個實例可使用以下程序來寫碼視訊區塊之重要性圖。對於16×16及32×32區塊，用於重要性圖之上下文可在具有不同類型之變換跳躍模式之區塊之間共用。舉例而言，經應用二維變換模式之區塊可與經應用垂直一維變換模式、水平一維變換模式或無變換模式(亦即，變換在至少一方向上被跳過)之區塊共用上下文。對於4×4及8×8區塊，當針對視訊區塊跳過一或多個變換時，用於重要性圖之上下文可在視訊區塊中、視訊區塊之每一行內或視訊區塊之每一列內之係數之間共用。當將二維變換模式應用於視訊區塊時，可使用如上文所描述定義之典型上下文。
圖7A說明視訊資料之視訊區塊126或CU之TU，其具有供區塊內之所有係數位置共用之單一上下文C0。如圖7A中所說明，區塊126包含具有16個係數位置之4×4區塊。在其他實例中，區塊126可包含具有更多係數位置之較大區 塊(例如，8×8區塊)，或矩形(亦即，非正方形)區塊。當不在區塊126之水平抑或垂直方向上應用變換時，區塊126內之所有係數可使用單一上下文，亦即，C0。在此情況下，當不應用變換時，對於4×4區塊存在兩個額外上下文(亦即，用於明度之1個上下文及用於色度之1個上下文)。類似地，在8×8區塊之情況下，當不應用變換時，所有係數可使用單一上下文。在此情況下，對於8×8區塊亦存在兩個額外上下文(亦即，用於明度之1個上下文及用於色度之1個上下文)。
圖7B說明視訊資料之視訊區塊128或CU之TU，其具有供視訊區塊之每一行內之係數共用的上下文。在圖7B中所說明之實例中，第一行被指派上下文C0，第二行被指派上下文C1，第三行被指派上下文C2，且第四行被指派上下文C3。如圖7B中所說明，區塊128包含具有16個係數位置之4×4區塊。在其他實例中，區塊128可包含具有更多係數位置之較大區塊(例如，8×8區塊)或矩形(亦即，非正方形)區塊。當對於區塊128跳過垂直方向上之變換時，區塊128之行中之所有係數可共用單一上下文。在此情況下，當應用水平一維變換時，對於4×4區塊存在八個額外上下文(亦即，用於明度之4個上下文及用於色度之4個上下文)。類似地，在8×8區塊之情況下，存在十六個額外上下文(亦即，用於明度之8個上下文及用於色度之8個上下文)。
圖7C說明視訊資料之視訊區塊130或CU之TU，其具有供視訊區塊之每一列內之係數共用的上下文。在圖7C中所說 明之實例中，第一列被指派上下文C0，第二列被指派上下文C1，第三列被指派上下文C2，且第四列被指派上下文C3。如圖7C中所說明，區塊130包含具有16個係數位置之4×4區塊。在其他實例中，區塊130可包含具有更多係數位置之較大區塊(例如，8×8區塊)或矩形(亦即，非正方形)區塊。當水平方向上之變換被跳過時，列中之所有係數可共用單一上下文。在此情況下，當應用垂直一維變換時，對於4×4區塊存在八個額外上下文(亦即，用於明度之4個上下文及用於色度之4個上下文)。類似地，在8×8區塊之情況下，存在十六個額外上下文(亦即，用於明度之8個上下文及用於色度之8個上下文)。
在一些實例中，替代將額外上下文用於視訊區塊之每一列，可在水平方向上跳過變換時於列之間共用該等上下文，且在垂直方向上跳過變換時於行之間共用該等上下文。水平變換被跳過時及垂直變換被跳過時之共用上下文可相互成鏡像，以使得當水平變換被跳過時之第一行具有類似於當垂直變換被跳過時之第一列的上下文。
在符合以上各點之一個實例中，可使用總共2+2+8+16個額外上下文。在其他實例中，基於本文中所概括之基本方案，許多變化係可能的。舉例而言，可使用以習知方式判定之上下文對色度重要性旗標進行寫碼，而使用上文所描述之方法對明度重要性旗標進行寫碼。或者，當在至少一方向上跳過變換時用於4×4及8×8區塊之上下文可擴展至16×16及32×32區塊。又，對於8×8區塊，當在一個方向上 跳過變換時，相鄰兩個行(若垂直轉變被跳過)或相鄰兩個列(若水平變換被跳過)可共用上下文。
圖8A至圖8C為說明視訊資料之區塊及在變換跳躍模式中用於對角線掃描次序、垂直掃描次序及水平掃描次序之係數的重要性圖上下文鄰域之實例的概念圖。本發明之技術描述至少部分地基於視訊區塊之選定變換跳躍模式使用不同寫碼程序來寫碼重要係數資訊(包括視訊區塊之重要性圖)。如圖8A至圖8C中所展示，視訊資料之4×4區塊可包括在對應區塊位置中的十六個經量化之變換係數，以圓圈指示。舉例而言，區塊132、134及136可各自具有4×4之大小，且因此包括使用變換跳躍模式產生的六十四個經量化之變換係數。在其他實例中，區塊132、134及136可包含具有更多經量化之變換係數之較大區塊(例如，8×8區塊)或矩形(亦即，非正方形)區塊。
對於經應用二維變換模式之視訊區塊，重要係數通常集中在區塊之左上方(亦即，較低頻率)區域中。當不將變換應用於視訊區塊時，重要係數可在區塊中散佈開。然而，即使在彼情況下，重要係數仍傾向於在空間上集群。因此，在鄰域中具有重要係數可增加當前係數係重要的之機率。在本發明中，當不將變換應用於視訊區塊時，將術語「係數」及「變換係數」用以指代殘餘像素值。
為了利用重要係數之集群，可將係數之因果(以反掃描次序)鄰域用以在無變換跳躍模式中判定用於4×4及8×8區塊之上下文。由於可垂直地、水平地或在對角線方向上掃 描4×4及8×8區塊，故可視掃描而使用三個不同上下文鄰域。可為視訊區塊內之給定係數選擇上下文鄰域，使得上下文鄰域不包括與給定係數在相同之掃描線中之係數。在其他實例中，上下文鄰域可包括多於或少於三個係數。此外，雖然在本文中主要關於無變換跳躍模式進行描述，但可將係數之因果鄰域用以判定變換僅在一個方向上被跳過的區塊之上下文。在其他情況下，替代因果鄰域，可將經因果寫碼之子區塊旗標用於判定上下文。
圖8A說明視訊資料之視訊區塊132或CU之TU，其具有基於反對角線掃描次序定義的係數之上下文鄰域，如圖8A中之箭頭所指示。用黑色圓圈來指示視訊區塊132之當前係數，且由陰影灰色圓圈來指示當前係數之上下文鄰域中之係數。如圖8A中所說明，對於對角線掃描次序，係數之上下文鄰域不包括與當前係數在相同之對角線掃描線中之係數。在此實例中，可使用藉由針對對角線掃描次序定義之上下文鄰域判定之上下文對當前係數之重要性圖進行寫碼，如圖8A中所說明。以此方式，可針對沿著與當前係數相同之對角線的所有係數平行地執行上下文處理。
圖8B說明視訊資料之視訊區塊134或CU之TU，其具有基於反垂直掃描次序定義的係數之上下文鄰域，如圖8B中之箭頭所指示。用黑色圓圈來指示視訊區塊134之當前係數，且由陰影灰色圓圈來指示當前係數之上下文鄰域中之係數。如圖8B中所說明，對於垂直掃描次序，係數之上下文鄰域不包括與當前係數在相同之行掃描線中之係數。在 此實例中，可使用藉由針對水平掃描次序定義之上下文鄰域判定之上下文對當前係數之重要性圖進行寫碼，如圖8B中所說明。以此方式，可針對與當前係數在相同之行中的所有係數平行地執行上下文處理。
圖8C說明視訊資料之視訊區塊136或CU之TU，其具有基於反水平掃描次序定義的係數之上下文鄰域，如圖8C中之箭頭所指示。用黑色圓圈來指示視訊區塊136之當前係數，且由陰影灰色圓圈來指示當前係數之上下文鄰域中之係數。如圖8C中所說明，對於水平掃描次序，係數之上下文鄰域不包括與當前係數在相同之列掃描線中之係數。在此實例中，可使用藉由針對垂直掃描次序定義之上下文鄰域判定之上下文對當前係數之重要性圖進行寫碼，如圖8A中所說明。以此方式，可針對與當前係數在相同之列中的所有係數平行地執行上下文處理。
在一些實例中，即使可定義具有三個係數之上下文鄰域，亦可能在鄰域中使用更多或更少係數，只要上下文鄰域中不包括在當前掃描線上之係數便可。然而，若平行上下文處理並非所關心的，則任何係數(已寫碼該等係數之重要性資訊)可包括於鄰域中。
在一個實例中，令(i,j)指示第i列及第j行中之變換係數。應注意，為了寫碼重要性旗標，可使用反向掃描。對於不同掃描，可將用於給定係數之上下文鄰域定義如下。對於垂直掃描：上下文鄰域可含有係數(i-1,j+1)、(i,j+1)及(i+1,j+1)。對於水平掃描：上下文鄰域可含有係數(i+1, j-1)、(i+1,j)及(i+1,j+1)。對於對角線掃描：上下文鄰域可含有係數(i,j+1)、(i+1,j)及(i+1,j+1)。
當包括於上下文鄰域中之係數超出區塊邊界時，可假設此係數並不重要。雖然已假設反向掃描而對上文所定義之上下文鄰域加以描述，但亦可使用正向掃描。此外，若使用正向掃描，則可適當地調整上下文鄰域。舉例而言，用於垂直掃描之上下文鄰域可為(i-1,j-1)、(i,j-1)及(i+1,j-1)。此外，可針對水平掃描及對角線掃描進行類似變化。
在一些實例中，可使用上下文鄰域之重要性圖之二進位數字表示作為上下文編號。在此情況下，含有三個係數之鄰域可產生八個上下文。或者，上下文鄰域中之重要係數之數目可用以判定上下文，在該情況下，所得上下文之數目可為四。在一些情況下可共用用於不同掃描及區塊大小之上下文，或可視區塊大小及掃描而使用單獨上下文。
圖9為說明預測單元內的視訊資料之區塊及用以判定啟用變換跳躍模式抑或寫碼選定變換跳躍模式之指示的區塊邊界之實例的概念圖。如圖9中所說明，在PU 140內定義視訊資料之區塊或TU 142、144、146及148。該等TU中之每一者具有可包含PU邊界或非PU邊界之四個邊緣。舉例而言，TU3 148包括為非PU邊界之左邊緣150、為PU邊界之右邊緣152、為非PU邊界之頂部邊緣154及為PU邊界之底部邊緣156。
習知地，藉由執行竭盡式搜尋以判定哪一變換類型提供視訊區塊之最大資料壓縮來選擇待應用於給定視訊區塊之 變換跳躍模式之類型。此竭盡式搜尋可導致視訊編碼器20之增加的執行時間。另外，就位元消耗而言，發送每一視訊區塊之選定變換跳躍模式之指示可能花費巨大。
在一些情況下，可將邊界相依變換模式用於視訊區塊以基於視訊區塊或TU之邊界係PU邊界抑或非PU邊界而將不同類型之二維變換應用於視訊區塊。在此變換模式中，替代始終應用2D-DCT，視訊區塊之每一邊界經判定為非PU邊界抑或PU邊界，且將下文之表1及表2中所展示之水平變換及垂直變換應用於視訊區塊。
邊界相依變換模式所基於之基本理念為預測殘餘能量通常在PU邊界處為高且在非PU邊界處為低。根據下文之表1及表2，當左側為非PU邊界且右側為PU邊界時，如圖9中之TU3 148，使用DST類型VII或DCT類型IV水平變換。若左側為PU邊界且右側為非PU邊界，則對翻轉列執行DST類型VII或DCT類型IV水平變換。當左邊界及右邊界為相同類型(例如，PU-PU或非PU-非PU)時，在水平方向上使用DCT類型II。在垂直方向上遵循相同策略。應注意，替代DST類型VII或DCT類型IV，可使用一次基底函數單調地增加之任何其他變換。
本發明之技術可包括使用以下三個方法選擇性地組合邊界相依變換模式與變換跳躍模式。
在第一方法中，視訊區塊在給定方向上之邊界經判定為PU邊界或非PU邊界，接著至少部分地基於視訊區塊在給定方向上之經判定邊界而啟用視訊區塊之變換跳躍模式，且跳過給定方向上之變換。作為一個實例，只要TU之側邊在給定方向上為非PU-非PU、非PU-PU或PU-非PU，則將邊界相依變換模式在給定方向上應用於TU。當TU之側邊在給定方向上為PU-PU時，啟用區塊之變換跳躍模式，且跳過給定方向上之變換。此實例展示於下文之表3中。
根據此方法，選定變換跳躍模式未被發信至視訊解碼器30。實情為，是否跳過在給定方向上視訊區塊之變換之判定係邊界相依的。因此，變換是否被跳過之指示未被顯式地發信至視訊解碼器30，而是基於視訊區塊之經判定邊界導出。是否跳過變換之選擇在水平方向及垂直方向上係獨立的。
在第二方法中，視訊區塊在給定方向上之邊界經判定為PU邊界或非PU邊界，接著至少部分地基於視訊區塊在給定方向上之經判定邊界啟用視訊區塊之變換跳躍模式，且將給定方向上之變換是否被跳躍之指示發信至視訊解碼器30。在此情況下，變換跳躍模式僅針對TU邊界之特定組合被啟用且顯式地發信。
作為實例，考慮變換跳躍模式僅在TU邊界組合在給定方向上為PU-PU時才係可能的。在彼情況下，對於其他三個邊界組合，即，非PU-PU、PU-非PU及非PU-非PU，在給定方向上，不能跳過變換。當TU邊界組合為PU-PU時，發信一個位元以指示在給定方向上針對視訊區塊執行抑或跳過變換。在其他實例中，變換跳躍模式可對於TU邊界之其他組合被啟用且顯式地發信。舉例而言，在替代實例中，當視訊區塊之TU邊界組合為PU-PU或非PU-非PU時，選定變換跳躍模式可被發信。
在第三方法中，對於視訊區塊啟用變換跳躍模式，視訊區塊在給定方向上之邊界經判定為PU邊界或非PU邊界，且使用至少部分地基於視訊區塊在給定方向上之經判定邊 界定義之上下文對給定方向上之變換是否被跳過之指示進行寫碼。對於水平方向及垂直方向中之每一者，發送一個二進位以指示給定方向上之變換係執行抑或被跳過。使用基於視訊區塊在彼方向上之經判定邊界組合選擇之上下文對每一二進位進行算術寫碼。
作為一個實例，四個不同上下文可用以寫碼用以指示是否針對視訊區塊跳過水平變換之二進位。左TU邊界及右TU邊界之每一組合(即，PU-PU、非PU-非PU、PU-非PU及非PU-PU)可被指派不同上下文。類似地，可指派四個上下文以用於寫碼用以指示是否針對視訊區塊跳過垂直變換之二進位。或者，該四個上下文可在水平變換指示符二進位與垂直變換指示符二進位之間共用。應注意，替代用於每一指示符之四個上下文，可能使用另一數目之上下文。舉例而言，若邊界組合為PU-PU或非PU-非PU，則可將一個上下文指派給二進位，且若邊界組合為PU-非PU或PU-非PU，則可將另一上下文指派給二進位。
圖10為說明使用基於選定變換跳躍模式定義之寫碼程序來寫碼視訊區塊之重要係數資訊之實例操作的流程圖。關於來自圖2之視訊編碼器20描述圖10中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器20大體上互反之寫碼程序。
視訊編碼器20之模式選擇模組40為視訊區塊或CU之TU選擇一變換跳躍模式(160)。變換模組52接著將該選定變換 跳躍模式應用於該視訊區塊之殘餘像素值(162)。在該變換之後，熵編碼模組56將掃描次序應用於該視訊區塊之係數(164)。熵編碼模組56接著使用用於該選定變換跳躍模式之寫碼程序來寫碼該視訊區塊內之最後一個非零係數之位置(166)。熵編碼模組56亦使用用於該選定變換跳躍模式之寫碼程序來寫碼該視訊區塊之重要性圖(168)。
視訊編碼器20將該選定變換跳躍模式發信至視訊解碼器30。視訊解碼器30之熵解碼模組80接著基於所接收之指示選擇變換跳躍模式，且執行如上文所描述之互反程序以重建構殘餘像素值從而解碼視訊區塊。
圖11為說明使用針對垂直一維變換、水平一維變換及無變換定義之寫碼程序來寫碼視訊區塊內之最後一個非零係數之位置之實例操作的流程圖。當選擇二維變換模式時，使用針對二維變換定義且圖11中未加以說明之習知寫碼程序對視訊區塊內之最後一個非零係數之位置進行寫碼。關於來自圖2之視訊編碼器20描述圖11中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器20大體上互反之寫碼程序。
視訊編碼器20之模式選擇模組40為視訊區塊或CU之TU選擇一變換跳躍模式(170)。熵編碼模組56接著使用至少部分地基於所選擇之變換跳躍模式之類型定義之寫碼程序來寫碼視訊區塊內之最後一個非零係數之位置(172)。
當變換跳躍模式包含水平一維變換模式(172之「水平變 換」分支)時，熵編碼模組56使用針對水平一維變換模式定義之用於寫碼最後一個非零係數之列索引之一寫碼程序來寫碼該列索引(174)。熵編碼模組56使用針對二維變換模式定義之用於寫碼最後一個非零係數之行索引之一寫碼程序來寫碼該行索引(176)。
在一個實例中，如上所述，針對水平一維變換模式之寫碼程序可包含使用CABAC旁路模式用固定數目個位元寫碼最後一個非零係數之列索引。在另一實例中，針對水平一維變換模式之寫碼程序可包含使用CABAC基於視訊區塊之高度寫碼最後一個非零係數之列索引。在又一實例中，針對水平一維變換模式之寫碼程序可包含不寫碼列索引，而改為僅寫碼最後一個非零係數之行索引，及針對視訊區塊之所指示行內之所有係數寫碼一重要性圖以識別該行內之非零係數之位置。
當變換跳躍模式包含垂直一維變換模式(172之「垂直變換」分支)時，熵編碼模組56使用針對垂直一維變換模式定義之用於寫碼最後一個非零係數之行索引之一寫碼程序來寫碼該行索引(178)。熵編碼模組56使用針對二維變換模式定義之用於寫碼最後一個非零係數之列索引之一寫碼程序來寫碼該列索引(180)。
在一個實例中，針對垂直一維變換模式之寫碼程序可包含使用CABAC旁路模式用固定數目個位元寫碼最後一個非零係數之行索引。在另一實例中，針對垂直一維變換模式之寫碼程序可包含使用CABAC基於視訊區塊之寬度寫 碼最後一個非零係數之行索引。在又一實例中，針對垂直一維變換模式之寫碼程序可包含不寫碼行索引，而改為僅寫碼最後一個非零係數之列索引，及針對視訊區塊之所指示列內之所有係數寫碼一重要性圖以識別該列內之非零係數之位置。
當變換跳躍模式包含無變換模式(172之「無變換」分支)時，熵編碼模組56使用針對無變換模式定義之用於寫碼列索引及行索引之一寫碼程序來寫碼最後一個非零係數之列索引及行索引(182)。在一個實例中，針對無變換模式之寫碼程序可包含使用CABAC旁路模式用固定數目個位元寫碼最後一個非零係數之列索引及行索引兩者。在另一實例中，針對無變換模式之寫碼程序可包含使用CABAC基於視訊區塊之大小寫碼最後一個非零係數之列索引及行索引兩者。在又一實例中，針對無變換模式之寫碼程序可包含不寫碼列索引或行索引之任一者，而改為針對視訊區塊內之所有係數寫碼一重要性圖以識別視訊區塊內之非零係數之位置。
視訊編碼器20將該選定變換跳躍模式發信至視訊解碼器30。視訊解碼器30之熵解碼模組80接著基於所接收之指示選擇變換跳躍模式，且執行如上文所描述之互反程序以使用基於選定變換跳躍模式之寫碼程序來解碼視訊區塊內之最後一個非零係數之位置。
圖12為說明使用針對垂直一維變換、水平一維變換及無變換定義之共用上下文來寫碼視訊區塊之重要性圖之實例 操作的流程圖。當選擇二維變換模式時，使用針對二維變換定義且圖12中未加以說明之習知寫碼程序對視訊區塊之重要性圖進行寫碼。關於來自圖2之視訊編碼器20描述圖12中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器20大體上互反之寫碼程序。
視訊編碼器20之變換跳躍模式選擇模組48為視訊區塊或CU之TU選擇一變換跳躍模式(186)。熵編碼模組56接著使用至少部分地基於所選擇之變換跳躍模式之類型定義的共用上下文來寫碼視訊區塊之重要性圖(188)。在一些情況下，熵編碼模組56可使用針對選定變換跳躍模式定義之共用上下文來寫碼4×4或8×8視訊區塊。在其他情況下，熵編碼模組56可使用與經應用二維變換模式之相同大小區塊共用之上下文來寫碼使用垂直一維變換、水平一維變換或無變換中之一者變換的16×16或32×32區塊之重要性圖。在其他情況下，熵編碼模組56可使用針對選定變換跳躍模式定義之共用上下文來寫碼任何大小之視訊區塊。
當變換跳躍模式包含水平一維變換模式(188之「水平變換」分支)時，熵編碼模組56使用視訊區塊之給定行之單一共用上下文來寫碼彼行內之係數之重要性圖(190)。在此情況下，可針對視訊區塊內之係數之每一行定義不同共用上下文。在一些情況下，係數之兩個或兩個以上行可共用相同上下文。
當變換跳躍模式包含垂直一維變換模式(188之「垂直變 換」分支)時，熵編碼模組56使用視訊區塊之給定列之單一共用上下文來寫碼彼列內之係數之重要性圖(192)。在此情況下，可針對視訊區塊內之係數之每一列定義不同共用上下文。在一些情況下，係數之兩個或兩個以上列可共用相同上下文。
當變換跳躍模式包含無變換模式(188之「無變換」分支)時，熵編碼模組56使用用於視訊區塊之單一共用上下文針對視訊區塊內之所有係數寫碼重要性圖(194)。在此情況下，可針對整個視訊區塊定義單一上下文，且可使用單一共用上下文對視訊區塊之所有係數進行寫碼。
視訊編碼器20將該選定變換跳躍模式發信至視訊解碼器30。視訊解碼器30之熵解碼模組80接著基於所接收之指示選擇變換跳躍模式，且執行如上文所描述之互反程序以使用基於選定變換跳躍模式及視訊區塊之大小之寫碼程序來解碼視訊區塊之重要性圖。
圖13為說明使用由係數的上下文鄰域判定的上下文來寫碼視訊區塊之重要性圖之實例操作的流程圖，該上下文鄰域視用於視訊區塊之掃描次序而定。關於來自圖2之視訊編碼器20描述圖13中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器20大體上互反之寫碼程序。
視訊編碼器20之變換跳躍模式選擇模組48為視訊區塊或CU之TU選擇一變換跳躍模式(198)。熵編碼模組56將掃描次序應用於經量化之變換係數之視訊區塊(200)。熵編碼模 組56接著使用由係數的視應用於視訊區塊之掃描次序之類型而定之上下文鄰域判定的上下文在變換跳躍模式中寫碼視訊區塊之重要性圖(202)。基於掃描次序之類型定義上下文鄰域之技術允許實現對掃描次序之當前掃描線中之所有係數的平行上下文處理。
在一些情況下，熵編碼模組56可使用係數的視掃描次序之類型而定之上下文鄰域來判定用以寫碼4×4或8×8視訊區塊之上下文。在其他情況下，熵編碼模組56可使用由二維變換模式之上下文鄰域判定之上下文來寫碼使用垂直一維變換、水平一維變換或無變換中之一者變換的16×16或32×32區塊之重要性圖。在其他情況下，熵編碼模組56可使用係數的視掃描次序之類型而定之上下文鄰域來判定用以寫碼任何大小之視訊區塊之上下文。
當變換跳躍模式包含水平掃描次序(202之「水平掃描」分支)時，熵編碼模組56使用由係數的上下文鄰域判定的上下文來寫碼視訊區塊內之給定係數之重要性圖(204)，該上下文鄰域不包括與給定係數在相同列中之係數。以此方式，用以判定給定係數之上下文之上下文鄰域將不包括與給定係數在相同掃描線中之任何係數。可針對與給定係數在相同列中的所有係數平行地執行上下文處理。
當變換跳躍模式包含垂直掃描次序(202之「垂直掃描」分支)時，熵編碼模組56使用由係數的上下文鄰域判定的上下文來寫碼視訊區塊內之給定係數之重要性圖(206)，該上下文鄰域不包括與給定係數在相同行中之係數。以此方 式，用以判定給定係數之上下文之上下文鄰域將不包括與給定係數在相同掃描線中之任何係數。可針對與給定係數在相同行中的所有係數平行地執行上下文處理。
當變換跳躍模式包含對角線掃描次序(202之「對角線掃描」分支)時，熵編碼模組56使用由係數的上下文鄰域判定的上下文來寫碼視訊區塊內之給定係數之重要性圖(208)，該上下文鄰域不包括與給定係數在相同對角線中之係數。以此方式，用以判定給定係數之上下文之上下文鄰域將不包括與給定係數在相同之掃描線中之任何係數。可針對與給定係數在相同對角線中的所有係數平行地執行上下文處理。
視訊編碼器20將該選定變換跳躍模式發信至視訊解碼器30。視訊解碼器30之熵解碼模組80接著基於所接收之指示選擇變換跳躍模式，且執行如上文所描述之互反程序以使用由係數的視應用於視訊區塊之掃描次序之類型而定之上下文鄰域判定的上下文在變換跳躍模式中解碼視訊區塊之重要性圖。
圖14為說明基於視訊區塊之邊界是否為預測單元邊界來啟用用於視訊區塊之變換跳躍模式之實例操作的流程圖。關於來自圖2之視訊編碼器20描述圖14中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器20大體上互反之寫碼程序。
視訊編碼器20之變換跳躍模式選擇模組48判定視訊區塊 或CU之TU在給定方向上之邊界是否為PU邊界(210)。舉例而言，在垂直方向上，變換跳躍模式選擇模組48可判定視訊區塊之頂部邊緣及底部邊緣係PU邊界抑或非PU邊界。在水平方向上，變換跳躍模式選擇模組48可判定視訊區塊之右邊緣及左邊緣係PU邊界抑或非PU邊界。
當視訊區塊在給定方向上之邊界包含PU邊界及非PU邊界之第一組合(212之「是」分支)時，則變換跳躍模式選擇模組48啟用用於視訊區塊之變換跳躍模式(216)。作為實例，當視訊區塊在給定方向上之邊緣均為PU邊界(亦即，PU-PU組合)時，啟用用於視訊區塊之變換跳躍模式以允許跳過給定方向上之變換。否則，當視訊區塊在給定方向上之邊界包含不同於第一組合的PU邊界及非PU邊界之組合(212之「否」分支)時，則變換跳躍模式選擇模組48使用邊界相依變換模式來判定在給定方向上用於視訊區塊之變換之類型(例如，離散餘弦變換(DCT)-II、DCT-IV或離散正弦變換(DST)-VII)(214)。
在一個實例中，一旦針對視訊區塊啟用變換跳躍模式(216)，變換模組52就跳過在給定方向上視訊區塊之變換。在此情況下，若視訊區塊在水平方向上之邊界組合為PU-PU組合，則變換模組52跳過水平變換。在此情況下，視訊編碼器20不必發信給定方向上之變換係執行抑或被跳過之指示。實情為，視訊解碼器30基於視訊區塊之邊界是否為PU邊界來判定執行抑或跳過在給定方向上視訊區塊之變換。
在圖14中所說明的另一實例中，一旦針對視訊區塊啟用變換跳躍模式(216)，視訊編碼器20之模式選擇模組40就為視訊區塊或TU選擇一變換跳躍模式(218)。在此情況下，若視訊區塊在水平方向上之邊界組合為PU-PU組合，則變換跳躍模式選擇模組48為視訊區塊選擇二維變換模式、垂直一維變換模式、水平一維變換模式或無變換模式中之一者。熵編碼模組56接著寫碼在給定方向上視訊區塊之變換是否被跳過之指示(220)。舉例而言，熵編碼模組56可寫碼在水平方向上視訊區塊之水平變換係執行抑或被跳過之指示。在一些情況下，是否在給定方向上跳過變換之指示可用以識別用於視訊區塊之選定變換跳躍模式。舉例而言，若水平變換被跳過，則選定變換跳躍模式包含垂直一維變換模式抑或無變換模式。
視訊解碼器30之熵解碼模組80執行如上文所描述之互反程序以基於視訊區塊之邊界是否為預測單元邊界而啟用用於視訊區塊之變換跳躍模式。當針對視訊區塊啟用變換跳躍模式時，熵解碼模組80基於視訊區塊之經判定邊界抑或變換是否在水平方向及垂直方向上被跳過之指示而為視訊區塊選擇變換跳躍模式。
圖15為說明基於視訊區塊之邊界是否為預測單元邊界來寫碼用於視訊區塊之選定變換跳躍模式之指示之實例操作的流程圖。關於來自圖2之視訊編碼器20描述圖15中所說明之實例操作。在其他實例中，可關於來自圖3之視訊解碼器30描述該實例操作，視訊解碼器30執行與視訊編碼器 20大體上互反之寫碼程序。
視訊編碼器20之變換跳躍模式選擇模組48為視訊區塊或CU之TU選擇一變換跳躍模式(224)。變換跳躍模式選擇模組48亦判定視訊區塊或TU在給定方向上之邊界是否為PU邊界(226)。舉例而言，在垂直方向上，變換跳躍模式選擇模組48可判定視訊區塊之頂部邊界及底部邊界係PU邊界抑或非PU邊界。在水平方向上，變換跳躍模式選擇模組48可判定視訊區塊之右邊界及左邊界係PU邊界抑或非PU邊界。
熵編碼模組56接著使用至少部分地基於視訊區塊之經判定邊界定義之上下文來寫碼在給定方向上視訊區塊之變換是否被跳過之指示(228)。舉例而言，熵編碼模組56可寫碼在水平方向上視訊區塊之水平變換係執行抑或被跳過之指示。是否在給定方向上跳過變換之指示可用以識別用於視訊區塊之選定變換跳躍模式。舉例而言，若水平變換被跳過，則選定變換跳躍模式包含垂直一維變換模式抑或無變換模式。
在一些情況下，在給定方向上邊界之每一潛在組合可被指派一不同上下文，亦即，四個不同上下文。熵編碼模組56使用與在給定方向上視訊區塊之PU邊界及非PU邊界之組合相關聯的上下文來寫碼在給定方向上視訊區塊之變換係執行抑或被跳過之指示。在其他情況下，一些上下文可供PU邊界與非PU邊界之不同組合共用。在一些實例中，垂直方向上之上下文可不同於水平方向上之上下文。在其 他實例中，上下文可在不同方向之間共用。
視訊解碼器30之熵解碼模組80執行如上文所描述之互反程序以使用基於視訊區塊之邊界是否為預測單元邊界定義之上下文來解碼在給定方向上視訊區塊之變換是否被跳過之指示。熵解碼模組80接著基於所解碼之指示為視訊區塊選擇變換跳躍模式。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體傳輸，且藉由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體通常可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，將任何連接適當地稱為電腦可讀媒 體。舉例而言，若使用同軸電纜、光纖纜線、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纖纜線、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器執行指令。因此，本文中所使用之術語「處理器」可指代上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼的專用硬體及/或軟體模組內或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片組)。在本發明中描述各種組件、模組或單元以強調經 組態以執行所揭示技術之器件之功能態樣，但未必要求藉由不同硬體單元實現。相反地，如上所述，可將各種單元組合於編碼解碼器硬體單元中，或可由結合合適軟體及/或韌體的互操作性硬體單元(包括如上所述之一或多個處理器)之集合提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
10‧‧‧實例視訊編碼及解碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧鏈路
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧儲存器件
34‧‧‧顯示器件
35‧‧‧分割模組
40‧‧‧模式選擇模組
41‧‧‧預測模組
42‧‧‧運動估計模組
44‧‧‧運動補償模組
46‧‧‧框內預測模組
48‧‧‧變換跳躍模式選擇模組
50‧‧‧求和器
52‧‧‧變換模組
54‧‧‧量化模組
56‧‧‧熵編碼模組
58‧‧‧反量化模組
60‧‧‧反變換模組
62‧‧‧求和器
64‧‧‧參考圖片記憶體
80‧‧‧熵解碼模組
81‧‧‧預測模組
82‧‧‧運動補償模組
84‧‧‧框內預測模組
86‧‧‧反量化模組
88‧‧‧反變換模組
90‧‧‧求和器
92‧‧‧參考圖片記憶體
100‧‧‧區塊
102‧‧‧區塊
104‧‧‧區塊
106‧‧‧區塊
110‧‧‧區塊
112‧‧‧區塊
114‧‧‧區塊
116‧‧‧區塊
120‧‧‧區塊
121‧‧‧位置
122‧‧‧區塊
123‧‧‧位置
124‧‧‧區塊
126‧‧‧位置
128‧‧‧視訊區塊
130‧‧‧視訊區塊
132‧‧‧區塊
134‧‧‧區塊
136‧‧‧區塊
140‧‧‧預測單元(PU)
142‧‧‧變換單元(TU)
144‧‧‧變換單元(TU)
146‧‧‧變換單元(TU)
148‧‧‧變換單元(TU)
150‧‧‧左邊緣
152‧‧‧右邊緣
154‧‧‧頂部邊緣
156‧‧‧底部邊緣
C0‧‧‧單一上下文/指派之上下文
C1‧‧‧指派之上下文
C2‧‧‧指派之上下文
C3‧‧‧指派之上下文
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施本發明中所描述之技術以在變換跳躍模式中寫碼視訊區塊之重要係數資訊之實例視訊編碼器之方塊圖。
圖3為說明可實施本發明中所描述之技術以在變換跳躍模式中寫碼視訊區塊之重要係數資訊之實例視訊解碼器之方塊圖。
圖4A至圖4D為說明在變換跳躍模式中使用二維變換、水平一維變換、垂直一維變換及無變換變換成係數之殘餘視訊資料之區塊之實例的概念圖。
圖5A-5D為說明使用Z字形掃描次序、水平掃描次序、垂直掃描次序及對角線掃描次序掃描的視訊資料之區塊之實例的概念圖。
圖6A至圖6C為說明在變換跳躍模式中視訊資料之區塊及對應非零(亦即，重要)係數位置資訊及最後一個非零係 數位置資訊之實例的概念圖。
圖7A至圖7C為說明在變換跳躍模式中視訊資料之區塊及供區塊、區塊之每一行及區塊之每一列共用之重要性圖上下文之實例的概念圖。
圖8A至圖8C為說明在變換跳躍模式中視訊資料之區塊及用於對角線掃描次序、垂直掃描次序及水平掃描次序之係數的重要性圖上下文鄰域之實例的概念圖。
圖9為說明預測單元內的視訊資料之區塊及用以判定啟用變換跳躍模式抑或寫碼選定變換跳躍模式之指示的區塊之邊界之實例的概念圖。
圖10為說明使用基於選定變換跳躍模式定義之寫碼程序來寫碼視訊區塊之重要係數資訊之實例操作的流程圖。
圖11為說明使用針對垂直一維變換、水平一維變換及無變換定義之寫碼程序來寫碼視訊區塊內之最後一個非零係數之位置之實例操作的流程圖。
圖12為說明使用針對垂直一維變換、水平一維變換及無變換定義之共用上下文來寫碼視訊區塊之重要性圖之實例操作的流程圖。
圖13為說明使用由係數的視用於視訊區塊之掃描次序而定之上下文鄰域判定的上下文來寫碼視訊區塊之重要性圖之實例操作的流程圖。
圖14為說明基於視訊區塊之邊界是否為預測單元邊界來啟用用於視訊區塊之變換跳躍模式之實例操作的流程圖。
圖15為說明基於視訊區塊之邊界是否為預測單元邊界來 寫碼用於視訊區塊之選定變換跳躍模式之指示之實例操作的流程圖。

Claims (52)

  1. 一種用於寫碼視訊資料之方法，其包含：為一視訊區塊選擇一變換跳躍模式，其中該選定變換跳躍模式包含一垂直一維變換模式、一水平一維變換模式或一無變換模式中之一者；將該選定變換跳躍模式應用於該視訊區塊；將一掃描次序應用於該視訊區塊，其中該掃描次序包含一Z字形掃描次序、一對角線掃描次序、一水平掃描次序及一垂直掃描次序中之一者；及寫碼該視訊區塊之重要係數資訊，其包含：使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之一寫碼程序來寫碼該視訊區塊之一最後一個非零係數之一位置，使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之上下文寫碼該視訊區塊之一重要性圖，及回應於包含該無變換模式之該選定變換跳躍模式，使用用於該視訊區塊之一單一共用上下文針對該視訊區塊內之係數寫碼該重要性圖。
  2. 如請求項1之方法，其中該視訊區塊內之該最後一個非零係數之該位置視該應用之掃描次序而定。
  3. 如請求項1之方法，其中該選定變換跳躍模式包含該垂直一維變換模式，且其中寫碼重要係數資訊包含寫碼該最後一個非零係數之該位置，其包括：使用針對該垂直一維變換模式定義之用於寫碼指示該 視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼該行索引；及使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引。
  4. 如請求項1之方法，其中該選定變換跳躍模式包含該水平一維變換模式，且其中寫碼重要係數資訊包含寫碼該最後一個非零係數之該位置，其包括：使用針對該水平一維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引；及使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼該行索引。
  5. 如請求項1之方法，其中該選定變換跳躍模式包含該無變換模式，且其中寫碼重要係數資訊包含寫碼該最後一個非零係數之該位置，其包括：使用針對該無變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引；及使用針對該無變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼該行索引。
  6. 如請求項1之方法，其中寫碼該重要係數資訊包含使用 固定數目個位元寫碼包括以下各者中之至少一者的該最後一個非零係數之該位置：指示該視訊區塊內之該最後一個非零係數之一行之一行索引，或指示該視訊區塊內之該最後一個非零係數之一列之一列索引。
  7. 如請求項6之方法，其中用以寫碼該最後一個非零係數之該行索引的位元之該固定數目係基於該視訊區塊之一寬度，且其中用以寫碼該最後一個非零係數之該列索引的位元之該固定數目係基於該視訊區塊之一高度。
  8. 如請求項6之方法，其中寫碼該最後一個非零係數之該行索引或該列索引中之一者包含：將該最後一個非零係數之該行索引或該列索引中之該一者二進位化成該固定數目個位元；及在旁路模式中使用上下文自適應性二進位算術寫碼(CABAC)來寫碼該二進位化索引之該等位元中之每一者。
  9. 如請求項1之方法，其中寫碼該重要係數資訊包含基於該視訊區塊之一大小來寫碼包括以下各者中之至少一者的該最後一個非零係數之該位置：指示該視訊區塊內之該最後一個非零係數之一行之一行索引，或指示該視訊區塊內之該最後一個非零係數之一列之一列索引。
  10. 如請求項9之方法，其中寫碼該最後一個非零係數之該行索引包含使用上下文自適應性二進位算術寫碼(CABAC)來寫碼(B-1-last)，其中B為該視訊區塊之該寬度且last為該最後一個非零係數之該行索引。
  11. 如請求項9之方法，其中寫碼該最後一個非零係數之該列索引包含使用上下文自適應性二進位算術寫碼(CABAC)來寫碼(B-1-last)，其中B為該視訊區塊之該高度且last為該最後一個非零係數之該列索引。
  12. 如請求項1之方法，其中該選定變換跳躍模式包含該垂直一維變換模式，且該掃描次序包含該水平掃描次序，且其中寫碼該重要係數資訊包含：使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼包括該列索引的該最後一個非零係數之該位置，而不寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引；及針對該視訊區塊之該所指示列內之所有係數寫碼一重要性圖，其中該重要性圖識別該視訊區塊之該所指示列內之每一非零係數之位置。
  13. 如請求項1之方法，其中該選定變換跳躍模式包含該水平一維變換模式，其該掃描次序包含將該垂直掃描次序，且其中寫碼該重要係數資訊包含：使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼包括該行索引的該最後一個非零係數之該位置，而不寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引；及針對該視訊區塊之該所指示行內之所有係數寫碼一重 要性圖，其中該重要性圖識別該視訊區塊之該所指示行內之每一非零係數之位置。
  14. 如請求項1之方法，其中該選定變換跳躍模式包含該無變換模式，且該掃描次序包含該Z字形掃描次序及該對角線掃描次序中之一者，且其中寫碼該重要係數資訊包含：針對該視訊區塊內之所有係數寫碼該重要性圖而不寫碼該視訊區塊內之該最後一個非零係數之該位置，其中該重要性圖識別該視訊區塊內之每一非零係數之位置。
  15. 如請求項1之方法，其中寫碼該最後一個非零係數之該位置包含：基於該選定變換跳躍模式及該掃描次序以一特定次序寫碼表示該視訊區塊內之該最後一個非零係數之索引的二進位位元，其中基於該選定變換跳躍模式及該掃描次序之該次序將該最後一個非零係數之一列索引及一行索引的經旁路寫碼之二進位位元分群在一起。
  16. 如請求項1之方法，其中寫碼該重要係數資訊包含：使用至少部分地基於該選定變換跳躍模式、該掃描次序及該視訊區塊之一大小定義之上下文寫碼該視訊區塊之該重要性圖。
  17. 如請求項1之方法，其中該選定變換跳躍模式包含該垂直一維變換模式，且其中寫碼該重要係數資訊包含：使用用於該視訊區塊之一列之一單一共用上下文針對該列內之係數寫碼該重要性圖。
  18. 如請求項1之方法，其中該選定變換跳躍模式包含該水 平一維變換模式，且其中寫碼該重要係數資訊包含：使用用於該視訊區塊之一行之一單一共用上下文針對該行內之係數寫碼該重要性圖。
  19. 如請求項1之方法，其中寫碼該重要係數資訊包含：使用與經應用一二維變換模式之區塊共用之上下文寫碼該視訊區塊之該重要性圖。
  20. 如請求項1之方法，其中寫碼該重要係數資訊包含：使用由係數之視該掃描次序而定之一上下文鄰域判定之一上下文而針對該視訊區塊內之一給定係數寫碼該重要性圖。
  21. 如請求項20之方法，其中應用該掃描次序包含將該垂直掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同行中之係數。
  22. 如請求項20之方法，其中應用該掃描次序包含將該水平掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同列中之係數。
  23. 如請求項20之方法，其中應用該掃描次序包含將該對角線掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同對角線上之係數。
  24. 如請求項1之方法，其中寫碼視訊資料包含編碼視訊資料，其進一步包含發信該選定變換跳躍模式之一指示， 及使用至少部分地基於該選定變換跳躍模式定義之該寫碼程序來編碼該視訊區塊之該重要係數資訊。
  25. 如請求項1之方法，其中寫碼視訊資料包含解碼視訊資料，其進一步包含接收該選定變換跳躍模式之一指示，及使用至少部分地基於該選定變換跳躍模式定義之該寫碼程序來解碼該視訊區塊之該重要係數資訊。
  26. 一種視訊寫碼器件，其包含：一記憶體，其儲存視訊資料；及一處理器，其經組態以：為一視訊區塊選擇一變換跳躍模式，其中該選定變換跳躍模式包含一垂直一維變換模式、一水平一維變換模式或一無變換模式中之一者；將該選定變換跳躍模式應用於該視訊區塊；將一掃描次序應用於該視訊區塊，其中該掃描次序包含一Z字形掃描次序、一對角線掃描次序、一水平掃描次序及一垂直掃描次序中之一者；且寫碼該視訊區塊之重要係數資訊，其包含：使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之一寫碼程序來寫碼該視訊區塊之一最後一個非零係數之一位置；使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之上下文寫碼該視訊區塊之一重要性圖，及回應於包含該無變換模式之該選定變換跳躍模式，使用用於該視訊區塊之一單一共用上下文針對該視訊區塊內之係數寫碼該重要性圖。
  27. 如請求項26之視訊寫碼器件，其中該視訊區塊內之該最後一個非零係數之該位置視該應用之掃描次序而定。
  28. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該垂直一維變換模式，且其中該處理器經組態以寫碼該最後一個非零係數之該位置，其包括：使用針對該垂直一維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼該行索引；及使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引。
  29. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該水平一維變換模式，且其中該處理器經組態以寫碼該最後一個非零係數之該位置，其包括：使用針對該水平一維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引；及使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼該行索引。
  30. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該無變換模式，且其中該處理器經組態以寫碼該最後一個非零係數之該位置，其包括：使用針對該無變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼該列索引；及 使用針對該無變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之寫碼程序來寫碼該行索引。
  31. 如請求項26之視訊寫碼器件，其中該處理器經組態以使用固定數目個位元寫碼包括以下各者中之至少一者的該最後一個非零係數之該位置：指示該視訊區塊內之該最後一個非零係數之一行之一行索引，或指示該視訊區塊內之該最後一個非零係數之一列之一列索引。
  32. 如請求項31之視訊寫碼器件，其中用以寫碼該最後一個非零係數之該行索引的位元之該固定數目係基於該視訊區塊之一寬度，且其中用以寫碼該最後一個非零係數之該列索引的位元之該固定數目係基於該視訊區塊之一高度。
  33. 如請求項31之視訊寫碼器件，其中該處理器經組態以：將該最後一個非零係數之該行索引或該列索引中之該一者二進位化成該固定數目個位元；且在旁路模式中使用上下文自適應性二進位算術寫碼(CABAC)來寫碼該二進位化索引之該等位元中之每一者。
  34. 如請求項26之視訊寫碼器件，其中該處理器經組態以基於該視訊區塊之一大小來寫碼包括以下各者中之至少一者的該最後一個非零係數之該位置：指示該視訊區塊內之該最後一個非零係數之一行之一行索引，或指示該視訊區塊內之該最後一個非零係數之一列之一列索引。
  35. 如請求項34之視訊寫碼器件，其中該處理器經組態以使用上下文自適應性二進位算術寫碼(CABAC)來寫碼(B-1-last)以便寫碼該最後一個非零係數之該行索引，其中B為該視訊區塊之該寬度且last為該最後一個非零係數之該行索引。
  36. 如請求項34之視訊寫碼器件，其中該處理器經組態以使用上下文自適應性二進位算術寫碼(CABAC)來寫碼(B-1-last)以便寫碼該最後一個非零係數之該列索引，其中B為該視訊區塊之該高度且last為該最後一個非零係數之該列索引。
  37. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該垂直一維變換模式且該掃描次序包含該水平掃描次序，其中該處理器經組態以：使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引之一寫碼程序來寫碼包括該列索引的該最後一個非零係數之該位置，而不寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引；且針對該視訊區塊之該所指示列內之所有係數寫碼一重要性圖，其中該重要性圖識別該視訊區塊之該所指示列內之每一非零係數之位置。
  38. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該水平一維變換模式且該掃描次序包含該垂直掃描次序，其中該處理器經組態以： 使用針對一二維變換模式定義之用於寫碼指示該視訊區塊內之該最後一個非零係數之一行之一行索引之一寫碼程序來寫碼包括該行索引的該最後一個非零係數之該位置，而不寫碼指示該視訊區塊內之該最後一個非零係數之一列之一列索引；且針對該視訊區塊之該所指示行內之所有係數寫碼一重要性圖，其中該重要性圖識別該視訊區塊之該所指示行內之每一非零係數之位置。
  39. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該無變換模式且該掃描次序包含該Z字形掃描次序及該對角線掃描次序，且其中該處理器經組態以針對該視訊區塊內之所有係數寫碼該重要性圖而不寫碼該視訊區塊內之該最後一個非零係數之該位置，其中該重要性圖識別該視訊區塊內之每一非零係數之位置。
  40. 如請求項26之視訊寫碼器件，其中該處理器經組態以基於該選定變換跳躍模式及該掃描次序以一特定次序寫碼表示該視訊區塊內之該最後一個非零係數之索引的二進位位元，其中基於該選定變換跳躍模式及該掃描次序之該次序將該最後一個非零係數之一列索引及一行索引的經旁路寫碼之二進位位元分群在一起。
  41. 如請求項26之視訊寫碼器件，其中該處理器經組態以使用至少部分地基於該選定變換跳躍模式、該掃描次序及該視訊區塊之一大小定義之上下文寫碼該視訊區塊之該重要性圖。
  42. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該垂直一維變換模式，且其中該處理器經組態以使用該視訊區塊之一列之一單一共用上下文針對該列內之係數寫碼該重要性圖。
  43. 如請求項26之視訊寫碼器件，其中該選定變換跳躍模式包含該水平一維變換模式，且其中該處理器經組態以使用該視訊區塊之一行之一單一共用上下文針對該行內之係數寫碼該重要性圖。
  44. 如請求項26之視訊寫碼器件，其中該處理器經組態以使用與經應用一二維變換模式之區塊共用之上下文寫碼該視訊區塊之該重要性圖。
  45. 如請求項26之視訊寫碼器件，其中該處理器經組態以：使用由係數之視該掃描次序而定之一上下文鄰域判定之一上下文針對該視訊區塊內之一給定係數寫碼該重要性圖。
  46. 如請求項45之視訊寫碼器件，其中該處理器經組態以將該垂直掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同行中之係數。
  47. 如請求項45之視訊寫碼器件，其中該處理器經組態以將該水平掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同列中之係數。
  48. 如請求項45之視訊寫碼器件，其中該處理器經組態以將 該對角線掃描次序應用於該視訊區塊，且其中用於該給定係數之該上下文鄰域不包括與該給定係數在一相同對角線上之係數。
  49. 如請求項26之視訊寫碼器件，其中該視訊寫碼器件包含一視訊編碼器件，且其中該處理器經組態以發信該選定變換跳躍模式之一指示，且使用至少部分地基於該選定變換跳躍模式定義之該寫碼程序來編碼該視訊區塊之該重要係數資訊。
  50. 如請求項26之視訊寫碼器件，該視訊寫碼器件包含一視訊解碼器件，且其中該處理器經組態以接收該選定變換跳躍模式之一指示，且使用至少部分地基於該選定變換跳躍模式定義之該寫碼程序來解碼該視訊區塊之該重要係數資訊。
  51. 一種視訊寫碼器件，其包含：用於為一視訊區塊選擇一變換跳躍模式之構件，其中該選定變換跳躍模式包含一垂直一維變換模式、一水平一維變換模式或一無變換模式中之一者；用於將該選定變換跳躍模式應用於該視訊區塊之構件；用於將一掃描次序應用於該視訊區塊之構件，其中該掃描次序包含一Z字形掃描次序、一對角線掃描次序、一水平掃描次序及一垂直掃描次序中之一者；及用於寫碼該視訊區塊之重要係數資訊之構件，其包含： 用於使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之一寫碼程序來寫碼該視訊區塊之一最後一個非零係數之一位置之構件，，用於使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之上下文寫碼該視訊區塊之一重要性圖之構件，及用於回應於包含該無變換模式之該選定變換跳躍模式，使用用於該視訊區塊之一單一共用上下文針對該視訊區塊內之係數寫碼該重要性圖之構件。
  52. 一種包含用於寫碼視訊資料之指令之電腦可讀媒體，該等指令在由一視訊寫碼器件執行時使一或多個可程式化處理器：為一視訊區塊選擇一變換跳躍模式，其中該選定變換跳躍模式包含一垂直一維變換模式、一水平一維變換模式或一無變換模式中之一者；將該選定變換跳躍模式應用於該視訊區塊；將一掃描次序應用於該視訊區塊，其中該掃描次序包含一Z字形掃描次序、一對角線掃描次序、一水平掃描次序及一垂直掃描次序中之一者；及寫碼該視訊區塊之重要係數資訊，其包含：使用至少部分地基於該選定變換跳躍模式及該掃描次序定義之一寫碼程序來寫碼該視訊區塊之一最後一個非零係數之一位置，使用至少部分地基於該選定變換跳躍模式及該掃描次 序定義之上下文寫碼該視訊區塊之一重要性圖，及回應於包含該無變換模式之該選定變換跳躍模式，使用用於該視訊區塊之一單一共用上下文針對該視訊區塊內之係數寫碼該重要性圖。
TW101141388A 2011-11-07 2012-11-07 在變換跳躍模式中寫碼重要係數資訊 TWI532364B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161556750P 2011-11-07 2011-11-07
US201161556721P 2011-11-07 2011-11-07
US201261583569P 2012-01-05 2012-01-05
US201261588124P 2012-01-18 2012-01-18
US13/670,167 US10390046B2 (en) 2011-11-07 2012-11-06 Coding significant coefficient information in transform skip mode

Publications (2)

Publication Number Publication Date
TW201342922A TW201342922A (zh) 2013-10-16
TWI532364B true TWI532364B (zh) 2016-05-01

Family

ID=48223699

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101141388A TWI532364B (zh) 2011-11-07 2012-11-07 在變換跳躍模式中寫碼重要係數資訊

Country Status (8)

Country Link
US (1) US10390046B2 (zh)
EP (2) EP3713233A1 (zh)
JP (1) JP6009575B2 (zh)
KR (2) KR101929084B1 (zh)
CN (1) CN103999460B (zh)
BR (1) BR112014011053A2 (zh)
TW (1) TWI532364B (zh)
WO (1) WO2013070707A1 (zh)

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
CN103597834B (zh) * 2011-08-04 2016-12-21 寰发股份有限公司 基于上下文自适应二进制算术编码的方法及装置
RU2719340C2 (ru) 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
US9008184B2 (en) * 2012-01-20 2015-04-14 Blackberry Limited Multiple sign bit hiding within a transform unit
US9363510B2 (en) 2012-03-02 2016-06-07 Qualcomm Incorporated Scan-based sliding window in context derivation for transform coefficient coding
US9237344B2 (en) * 2012-03-22 2016-01-12 Qualcomm Incorporated Deriving context for last position coding for video coding
EP2866443A4 (en) * 2012-06-22 2016-06-15 Sharp Kk ARITHMETIC DECODING DEVICE, ARITHMETIC CODING DEVICE, IMAGE DECODING DEVICE AND IMAGE DEVICES
US9497465B2 (en) * 2012-06-29 2016-11-15 Electronics And Telecommunications Research Institute Method and device for encoding/decoding images
US20140056347A1 (en) 2012-08-23 2014-02-27 Microsoft Corporation Non-Transform Coding
US20140169452A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Video encoding method and apparatus using the same
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) * 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
WO2014190468A1 (en) 2013-05-27 2014-12-04 Microsoft Corporation Video encoder for images
US9877025B2 (en) * 2013-07-12 2018-01-23 British Broadcasting Corporation Video encoding and decoding with prediction at higher precision
CN105453567B (zh) 2013-07-24 2019-04-23 微软技术许可有限责任公司 用于非变换编码的扫描次序
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
WO2015054812A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
BR112016010796B1 (pt) * 2013-11-14 2023-11-28 Hfi Innovation Inc. Método de sinalização de modo de codificação referência a pedidos de patente correlatos
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
MX360926B (es) 2014-01-03 2018-11-22 Microsoft Technology Licensing Llc Prediccion de vector de bloque en codificacion/descodificacion de video e imagen.
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
KR102185857B1 (ko) 2014-02-13 2020-12-02 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
EP3253059A1 (en) 2014-03-04 2017-12-06 Microsoft Technology Licensing, LLC Block flipping and skip mode in intra block copy prediction
CN105359531B (zh) 2014-03-17 2019-08-06 微软技术许可有限责任公司 用于针对屏幕内容编码的编码器侧判定的方法和系统
US9716884B2 (en) * 2014-03-20 2017-07-25 Hfi Innovation Inc. Method of signaling for mode selection in 3D and multi-view video coding
WO2015172337A1 (en) * 2014-05-14 2015-11-19 Mediatek Singapore Pte. Ltd. Alternative transforms for data compression
EP3158734A4 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
KR102257379B1 (ko) 2014-07-22 2021-06-01 삼성전자주식회사 비디오 인코딩 회로 및 그것을 이용하는 비디오 인코딩 방법
WO2016043417A1 (ko) * 2014-09-19 2016-03-24 엘지전자(주) 분리 가능한 변환에 기초하여 적응적으로 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR102330740B1 (ko) 2014-09-30 2021-11-23 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 파면 병렬 프로세싱이 인에이블되는 경우의 인트라 픽쳐 예측 모드에 대한 규칙
EP3222044A1 (en) * 2014-11-21 2017-09-27 VID SCALE, Inc. One-dimensional transform modes and coefficient scan order
AT516282B1 (de) * 2014-11-26 2016-04-15 Blum Gmbh Julius Anordnung zum Aufspreizen wenigstens zweier gelenkig miteinander verbundener Türflügel
CN107005695B (zh) * 2014-11-28 2020-01-07 联发科技股份有限公司 用于视频编码的替代变换的方法及装置
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
US10924743B2 (en) 2015-02-06 2021-02-16 Microsoft Technology Licensing, Llc Skipping evaluation stages during media encoding
KR102390407B1 (ko) * 2015-03-18 2022-04-25 한화테크윈 주식회사 디코더 및 디코더에서의 역변환 방법
KR20160131526A (ko) * 2015-05-07 2016-11-16 삼성전자주식회사 시스템 온 칩, 상기 시스템 온 칩을 포함하는 디스플레이 시스템, 및 상기 디스플레이 시스템의 동작 방법
US10659783B2 (en) 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US10038917B2 (en) 2015-06-12 2018-07-31 Microsoft Technology Licensing, Llc Search strategies for intra-picture prediction modes
US10136132B2 (en) 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
JP6528635B2 (ja) * 2015-10-05 2019-06-12 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
US10171839B2 (en) * 2016-03-24 2019-01-01 Massachusetts Institute Of Technology Generating transforms for compressing and decompressing visual data
FR3050858A1 (fr) * 2016-04-29 2017-11-03 Orange Procede de codage et de decodage d’images, dispositif de codage et de decodage d’images et programmes d’ordinateur correspondants
CN109479137B (zh) * 2016-05-28 2021-09-21 联发科技股份有限公司 用于彩色视频数据的调色板模式编解码的方法及装置
KR20180007680A (ko) * 2016-07-13 2018-01-23 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
CN113873241B (zh) * 2016-08-31 2024-02-20 株式会社Kt 用于对视频进行解码的方法和用于对视频进行编码的方法
US10728552B2 (en) 2016-09-30 2020-07-28 Sony Corporation Image processing apparatus and method
MX2019008023A (es) 2017-01-03 2019-11-12 Lg Electronics Inc Metodo de procesamiento de imagen, y aparato para el mismo.
KR20180089290A (ko) * 2017-01-31 2018-08-08 세종대학교산학협력단 영상의 부호화/복호화 방법 및 장치
WO2018143670A1 (ko) * 2017-01-31 2018-08-09 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
CA3060201C (en) * 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
US10979736B2 (en) * 2017-06-08 2021-04-13 Lg Electronics Inc. Method and apparatus for performing low-complexity computation of transform kernel for video compression
US11039133B2 (en) 2017-06-23 2021-06-15 Sony Corporation Image processing apparatus and image processing method for inhibiting application of an offset to pixels of an image
CN115474043A (zh) * 2017-07-31 2022-12-13 韩国电子通信研究院 对图像编码和解码的方法及存储比特流的计算机可读介质
US10735736B2 (en) * 2017-08-29 2020-08-04 Google Llc Selective mixing for entropy coding in video compression
US10547869B2 (en) * 2017-12-08 2020-01-28 Google Llc Template-based entropy coding of quantized transform coefficients
CN110710219B (zh) * 2017-12-08 2022-02-11 谷歌有限责任公司 用于系数代码化的上下文推导的方法和设备
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN111602397B (zh) * 2018-01-17 2024-01-23 英迪股份有限公司 使用各种变换技术的视频编码方法和装置
WO2019164660A1 (en) 2018-02-23 2019-08-29 Futurewei Technologies, Inc. Position dependent spatial varying transform for video coding
US10491914B2 (en) * 2018-03-29 2019-11-26 Tencent America LLC Transform information prediction
US10462486B1 (en) * 2018-05-07 2019-10-29 Tencent America, Llc Fast method for implementing discrete sine transform type VII (DST 7)
WO2019235887A1 (ko) * 2018-06-06 2019-12-12 엘지전자 주식회사 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
CN112335250A (zh) * 2018-06-28 2021-02-05 韩国电子通信研究院 用于对图像进行编码/解码的方法和设备以及用于存储比特流的记录介质
TWI714153B (zh) * 2018-06-29 2020-12-21 大陸商北京字節跳動網絡技術有限公司 零單元的定義
WO2020012023A1 (en) 2018-07-13 2020-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Partitioned intra coding concept
WO2020035827A1 (en) * 2018-08-16 2020-02-20 Beijing Bytedance Network Technology Co., Ltd. Implicit coding for transform matrix selection
US20220038702A1 (en) * 2018-09-20 2022-02-03 Nokia Technologies Oy A method and an apparatus for encoding and decoding of digital image/video material
JP2020053924A (ja) * 2018-09-28 2020-04-02 シャープ株式会社 動画像符号化装置、動画像復号装置
US11496737B2 (en) 2018-10-05 2022-11-08 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream
WO2020076028A1 (ko) * 2018-10-11 2020-04-16 엘지전자 주식회사 변환 계수 코딩 방법 및 장치
US10848775B2 (en) 2018-11-02 2020-11-24 Fungible, Inc. Memory layout for JPEG accelerator
US10827192B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Work allocation for JPEG accelerator
US10931958B2 (en) 2018-11-02 2021-02-23 Fungible, Inc. JPEG accelerator using last-non-zero (LNZ) syntax element
US10827191B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Parallel coding of syntax elements for JPEG accelerator
WO2020092795A2 (en) * 2018-11-02 2020-05-07 Fungible, Inc. Parallel coding of syntax elements for jpeg accelerator
JP2022016726A (ja) * 2018-11-16 2022-01-25 ソニーグループ株式会社 画像処理装置および方法
US11470329B2 (en) * 2018-12-26 2022-10-11 Tencent America LLC Method and apparatus for video coding
BR112021013117A2 (pt) * 2019-01-02 2021-09-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparelho para decodificar e codificar uma imagem usando codificação preditiva e codificação residual de transformada com base em bloco, métodos e fluxo de dados
CN113905232A (zh) * 2019-03-09 2022-01-07 杭州海康威视数字技术股份有限公司 进行编码和解码的方法、解码端、编码端和系统
US11202100B2 (en) * 2019-03-11 2021-12-14 Qualcomm Incorporated Coefficient coding for transform skip mode
CA3137099A1 (en) * 2019-04-19 2020-10-22 Bytedance Inc. Context coding for transform skip mode
JP7414843B2 (ja) 2019-04-24 2024-01-16 バイトダンス インコーポレイテッド 符号化映像の量子化残差差分パルス符号変調表現
CN117857783A (zh) 2019-05-01 2024-04-09 字节跳动有限公司 使用量化残差差分脉冲码调制编解码的帧内编解码视频
CN117615130A (zh) 2019-05-02 2024-02-27 字节跳动有限公司 基于编解码树结构类型的编解码模式
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
KR20210136149A (ko) * 2019-05-21 2021-11-16 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20220019257A (ko) * 2019-07-10 2022-02-16 엘지전자 주식회사 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
JP7260711B2 (ja) * 2019-07-10 2023-04-18 エルジー エレクトロニクス インコーポレイティド 映像コーディングシステムにおいてレジデュアルコーディング方法に対するフラグを使用する映像デコード方法及びその装置
CN117939136A (zh) 2019-08-31 2024-04-26 Lg电子株式会社 解码设备、编码设备和发送设备
EP4024860A4 (en) * 2019-08-31 2023-06-28 LG Electronics Inc. Method for decoding video using simplified residual data coding in video coding system and device therefor
JP7453348B2 (ja) * 2019-08-31 2024-03-19 エルジー エレクトロニクス インコーポレイティド ビデオまたは画像コーディング方法及びその装置
CN114467310A (zh) 2019-08-31 2022-05-10 Lg 电子株式会社 图像编译系统中残差数据编译的图像解码方法及其装置
CN114556932B (zh) * 2019-09-24 2023-05-23 北京达佳互联信息技术有限公司 用于视频编解码的无损编解码模式
JP7201873B2 (ja) * 2019-09-24 2023-01-10 ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド 残差及び係数符号化の方法、プログラム並びに装置
US11973983B2 (en) * 2019-10-11 2024-04-30 Qualcomm Incorporated Signaling coding scheme for residual values in transform skip for video coding
MX2022010416A (es) 2020-02-27 2022-10-03 Lg Electronics Inc Metodo y aparato para la decodificacion de imagenes relacionadas con la ocultacion de datos de se?al.
CN115315944A (zh) * 2020-03-07 2022-11-08 抖音视界有限公司 视频编解码中的隐式多变换集信令通知
JP7425224B2 (ja) 2020-04-07 2024-01-30 北京字節跳動網絡技術有限公司 高レベル構文におけるインター予測のための信号通知
JP2023521588A (ja) 2020-04-09 2023-05-25 北京字節跳動網絡技術有限公司 映像コーディングにおけるデブロッキング信号通知
CN115486064A (zh) 2020-04-10 2022-12-16 抖音视界有限公司 标头语法元素和自适应参数集的使用
WO2021209061A1 (en) 2020-04-17 2021-10-21 Beijing Bytedance Network Technology Co., Ltd. Presence of adaptation parameter set units
WO2021222036A1 (en) 2020-04-26 2021-11-04 Bytedance Inc. Conditional signaling of video coding syntax elements
CN113709477B (zh) * 2020-06-05 2022-12-23 杭州海康威视数字技术股份有限公司 编码方法、解码方法、装置及机器可读存储介质
US11503322B2 (en) 2020-08-07 2022-11-15 Samsung Display Co., Ltd. DPCM codec with higher reconstruction quality on important gray levels
US11509897B2 (en) 2020-08-07 2022-11-22 Samsung Display Co., Ltd. Compression with positive reconstruction error
CN111741302B (zh) * 2020-08-07 2021-05-14 腾讯科技（深圳）有限公司 数据处理方法、装置、计算机可读介质及电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100452883C (zh) * 2001-12-17 2009-01-14 微软公司 处理视频图像的方法
KR20040007818A (ko) * 2002-07-11 2004-01-28 삼성전자주식회사 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치
KR100664932B1 (ko) * 2004-10-21 2007-01-04 삼성전자주식회사 비디오 코딩 방법 및 장치
KR100746011B1 (ko) * 2005-08-24 2007-08-06 삼성전자주식회사 잔차 예측의 성능 개선 방법, 상기 방법을 이용한 비디오인코더 및 비디오 디코더
US8077769B2 (en) 2006-03-28 2011-12-13 Sony Corporation Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach
US8045612B1 (en) 2007-01-19 2011-10-25 Marvell International Ltd. Fast inverse integer transform for video decoding
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US9008171B2 (en) 2008-01-08 2015-04-14 Qualcomm Incorporated Two pass quantization for CABAC coders
MX2011005749A (es) 2008-12-03 2011-06-20 Nokia Corp Conmutacion entre modos de codificacion de coeficientes dct.
WO2010093351A1 (en) * 2009-02-13 2010-08-19 Thomson Licensing Depth map coding to reduce rendered distortion
US8451903B2 (en) 2009-05-14 2013-05-28 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
NO330107B1 (no) * 2009-07-09 2011-02-21 Tandberg Telecom As Datamaskinimplementert tidlig dropping
US20110090954A1 (en) 2009-10-21 2011-04-21 Cohen Robert A Video Codes with Directional Transforms
KR20110071231A (ko) * 2009-12-21 2011-06-29 엠텍비젼 주식회사 부호화 방법, 복호화 방법 및 장치
HUE040296T2 (hu) 2010-04-13 2019-02-28 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
KR20230129624A (ko) * 2010-05-12 2023-09-08 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 통합된 유효성 맵 코딩을 위한 방법 및 장치
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
US20120082235A1 (en) * 2010-10-05 2012-04-05 General Instrument Corporation Coding and decoding utilizing context model selection with adaptive scan pattern
EP2705667B1 (en) * 2011-06-30 2016-09-21 Huawei Technologies Co., Ltd. Lossless coding and associated signaling methods for compound video

Also Published As

Publication number Publication date
JP2014535247A (ja) 2014-12-25
EP2777260A1 (en) 2014-09-17
US10390046B2 (en) 2019-08-20
WO2013070707A1 (en) 2013-05-16
KR20140090658A (ko) 2014-07-17
BR112014011053A2 (pt) 2017-05-02
KR101929084B1 (ko) 2018-12-13
US20130114730A1 (en) 2013-05-09
TW201342922A (zh) 2013-10-16
CN103999460B (zh) 2017-07-18
EP3713233A1 (en) 2020-09-23
CN103999460A (zh) 2014-08-20
JP6009575B2 (ja) 2016-10-19
KR20160116006A (ko) 2016-10-06
KR101919213B1 (ko) 2018-11-15

Similar Documents

Publication Publication Date Title
TWI532364B (zh) 在變換跳躍模式中寫碼重要係數資訊
JP6908618B2 (ja) ２レベルのマルチタイプツリーフレームワークを使用したビデオデータのデコーディング
RU2584498C2 (ru) Видеокодирование интра-режима
JP6231109B2 (ja) コンテキスト適応型、マルチレベル有意性コーディングに関するコンテキスト導出
JP5833249B2 (ja) ビデオコーディングのための適応的な中心帯域オフセットフィルタ
JP6046164B2 (ja) ビデオコード化において変換係数データをコード化するためのコンテキストの決定
JP5932050B2 (ja) ビデオコーディングにおけるクロマ成分のための変換ユニットパーティショニング
JP5766874B2 (ja) 方向性パーティションを用いたイントラ予測モードコーディング
TWI484830B (zh) 用於視訊編碼之轉換係數之編碼
JP5955955B2 (ja) リーフレベルコード化単位のサブセットについての変換係数のシンタックス要素の信号伝達
TW201352004A (zh) 轉換係數寫碼
TW201742458A (zh) 二值化二次轉換指數
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
TW201517599A (zh) 內部運動補償延伸
KR20130095289A (ko) 조인트 콘텍스트 모델을 사용한 계수들의 엔트로피 코딩
TWI523530B (zh) 導出最末位置寫碼之上下文以供視訊寫碼
JP2015515810A (ja) マージシグナリングおよびループフィルタオン／オフシグナリング

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees