TWI558174B - 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體 - Google Patents

用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI558174B
TWI558174B TW102142123A TW102142123A TWI558174B TW I558174 B TWI558174 B TW I558174B TW 102142123 A TW102142123 A TW 102142123A TW 102142123 A TW102142123 A TW 102142123A TW I558174 B TWI558174 B TW I558174B
Authority
TW
Taiwan
Prior art keywords
video information
enhancement layer
information associated
video
layer
Prior art date
Application number
TW102142123A
Other languages
English (en)
Other versions
TW201444344A (zh
Inventor
法迪姆 塞瑞金
馬塔 卡茲維克茲
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201444344A publication Critical patent/TW201444344A/zh
Application granted granted Critical
Publication of TWI558174B publication Critical patent/TWI558174B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體
本發明係關於可調式視訊寫碼(SVC)、多視圖視訊寫碼(MVC)，及3D視訊寫碼(3DV)。
數位視訊能力可併入至各種不同之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、電玩器件、電玩主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4部分10進階視訊寫碼(AVC)所定義之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖片內)預測及/或時間(圖片間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視訊圖塊(亦即，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。使用相對於同一圖 片中之相鄰區塊中之參考樣本的空間預測來編碼圖片之框內寫碼(I)圖塊中的視訊區塊。圖片之框間寫碼(P或B)圖塊中之視訊區塊可使用相對於同一圖片中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖片中之參考樣本之時間預測。圖片可被稱作圖框，且參考圖片可被稱作參考圖框。
空間預測或時間預測產生待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊之參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進行進一步壓縮，可將殘餘資料自像素域轉換至轉換域，從而產生殘餘轉換係數，可接著量化殘餘轉換係數。可掃描最初配置成二維陣列之經量化之轉換係數以便產生轉換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
可使用多種轉換將殘餘資料自像素域轉換至轉換域。然而，當前技術不允許基於待轉換資料之特性的轉換選擇。
一般而言，本發明描述關於可調式視訊寫碼(SVC)之技術。下文描述之技術允許當將要使用層內預測模式來編碼或解碼視訊資訊時基於正被轉換的視訊資訊之特性選擇特定轉換類型。
高效地使用可用核心。寫碼效率。可犧牲效率來簡化實施，亦即，核心係可用的。
首先，可能應用諸如DCT或DST之不同轉換類型以寫碼一區塊。舉例而言，在HEVC標準中，將DCT及DST用以寫碼框內預測明度區塊。然而，在SVC擴展中，可使用一或多種類型之預測，諸如層間框內預測，且對於此新模式，必須定義轉換選擇。本發明中描述用於此選擇之途徑，包括一種不需要新核心或對HEVC程序之其他低階變化 的方法。
在一實施例中，用於寫碼視訊資訊之裝置包括一記憶體單元及一處理器。該記憶體單元經組態以儲存與基礎層及增強層相關聯之視訊資訊。該處理器操作地耦接至該記憶體並經組態以回應於判定將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊，而至少部分地基於增強層視訊資訊之轉換單元(TU)大小及色彩分量類型中之至少一者在第一轉換與第二轉換之間進行選擇。
在另一實施例中，解碼視訊資訊之方法包括接收與基礎層及增強層相關聯之視訊資訊。該方法亦包括判定是否將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊。該方法亦包括回應於判定將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊，而至少部分地基於增強層視訊資訊之轉換單元(TU)大小及色彩分量類型中之至少一者在第一轉換與第二轉換之間進行選擇。該方法亦包括使用選定之轉換來解碼與增強層相關聯之視訊資訊。
在又一實施例中，編碼視訊資訊的方法包括接收與基礎層及增強層相關聯之視訊資訊。該方法亦包括判定是否將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊。該方法亦包括回應於判定將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊，而至少部分地基於增強層視訊資訊之轉換單元(TU)大小及色彩分量類型中之至少一者在第一轉換與第二轉換之間進行選擇。該方法亦包括使用選定之轉換來編碼與增強層相關聯之視訊資訊。
在又一實施例中，非暫時性電腦可讀媒體包括當被執行時使一裝置接收與基礎層及增強層相關聯之視訊資訊的程式碼。該等指令亦使該裝置當將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊時，至少部分地基於增強層視訊資訊之轉換單元(TU)大小及色彩分量類型中之至少一者在第一轉換與第二轉換之間進行選擇。 指令亦使裝置使用選定轉換來寫碼與增強層相關聯之視訊資訊。
在又一實施例中，一經組態以寫碼視訊資訊之裝置包括用於接收與基礎層及增強層相關聯之視訊資訊的構件。該裝置亦包括用於判定是否將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊的構件。該裝置亦包括用於回應於判定將基於與基礎層相關聯之視訊資訊來判定與增強層相關聯之視訊資訊，而至少部分地基於增強層視訊資訊之轉換單元(TU)大小及色彩分量類型中之至少一者在第一轉換與第二轉換之間進行選擇的構件。該裝置亦包括用於使用選定之轉換來寫碼與增強層相關聯之視訊資訊的構件。
在隨附圖式及下文描述中闡述一或多個實例之細節，隨附圖式及下文描述並不意欲限制本文中描述之發明性概念之全部範疇。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍顯而易見。
10‧‧‧視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧轉換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧逆量化單元
60‧‧‧逆轉換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
69‧‧‧層間預測單元
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
75‧‧‧層間預測單元
76‧‧‧逆量化單元
78‧‧‧逆轉換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
400‧‧‧方法
500‧‧‧方法
在整個圖式中，參考數字可被重複使用以指示所參考元件之間的對應性。提供圖式以說明本文中描述之實例實施例，且其不意欲限制本發明之範疇。
圖1為說明一可利用根據本發明中描述之態樣的技術之實例視訊編碼及解碼系統的方塊圖。
圖2為說明一可實施根據本發明中描述之態樣的技術之視訊編碼器之實例的方塊圖。
圖3為說明一可實施根據本發明中描述之態樣的技術之視訊解碼器之實例的方塊圖。
圖4為說明根據本發明之態樣的用於選擇視訊寫碼轉換的方法之實施例的流程圖。
圖5為說明根據本發明之態樣的用於選擇視訊寫碼轉換的方法之 另一實施例的流程圖。
本發明中描述之技術大體而言係關於可調式視訊寫碼(SVC)及多視圖/3D視訊寫碼。舉例而言，該等技術可係關於高效率視訊寫碼(HEVC)可調式視訊寫碼(SVC，有時稱作SHVC)擴展，並與其一起使用或用於其中。在SVC擴展中，可存在多個視訊資訊層。在最底部層級處之層可充當基礎層(BL)，且在最頂部處之層(或最高層)可充當經增強層(EL)。「經增強層」有時稱作「增強層」，且此等術語可被互換地使用。基礎層有時稱作「參考層」(RL)且此等術語亦可互換地使用。在基礎層與頂部層之間的所有層可充當EL或參考層(RL)中之任一者或兩者。舉例而言，在中間之層可為其下方之層(諸如，基礎層或任何插入的增強層)的EL，且同時充當其上方之層的RL。在基礎層與頂部層(或最高層)之間的每一層可用作由較高層進行之層間預測的參考，且可使用較低層作為層間預測之參考。
僅為了說明之目的，藉由僅包括兩層(例如，較低層級的層(諸如基礎層)及較高層級的層(諸如增強層))之實例來描述本發明中描述之技術。應理解，本發明中描述之實例亦可擴展至具有多個基礎層及增強層之實例。另外，為了易於解釋，以下揭示內容主要使用術語「圖框」或「區塊」。然而，此等術語並不意謂具限制性。舉例而言，下文中描述之技術可與不同視訊單元(諸如，區塊(例如，CU、PU、TU、巨集區塊，等等)、圖塊、圖框等等)一起使用。
視訊寫碼
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1視覺、ITU-T H.262或ISO/IEC MPEG-2視覺、ITU-T H.263、ISO/IEC MPEG-4視覺及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)，包括其可調式視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展。另外，新視訊寫碼標準(亦 即，高效率視訊寫碼(HEVC))正由ITU-T視訊寫碼專家群(VCEG)及ISO/IEC動畫專家群(MPEG)之視訊寫碼聯合協作小組(JCT-VC)開發。自2012年6月7日起，HEVC之最近草案可自http：//wg11.sc29.org/jct/doc_end_user/current_document.php？id=5885/JCTVC-I1003-v2得到。自2012年6月7日起，HEVC標準之另一最近草案(稱作「HEVC工作草案7」)可自http：//phenix.it-sudparis.eu/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v3.zip下載。HEVC工作草案7之完整引用為2012年4月27日至2012年5月7日瑞士日內瓦，ITU-T SG16 WP3及ISO/IEC JTC1/SC29/WG11的視訊寫碼之聯合協作小組，第9次會議，文獻HCTVC-I1003，Bross等人之「High-Efficiency Video Coding(HEVC)Text Specification Draft 7」。HEVC之最新工作草案(WD)(且下文中稱作HEVC WD8)可在線上於http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip處得到。此等參考文獻中之每一者全文以引用方式併入。
可調式視訊寫碼(SVC)可用以提供品質(亦稱作信雜比(SNR))可調性、空間可調性及/或時間可調性。舉例而言，在一個實施例中，參考層(例如，基礎層)包括足以以第一品質位準顯示一視訊的視訊資訊，且增強層包括關於參考層之額外視訊資訊，使得參考層及增強層共同包括足以以一高於第一位準之第二品質位準(例如，較少雜訊、較大解析度、更好的圖框速率，等等)顯示視訊的視訊資訊。增強層可具有與基礎層不同之空間解析度。舉例而言，EL與BL之間的空間縱橫比可為1.0、1.5、2.0或其他不同比。換言之，EL之空間縱橫比可等於BL之空間縱橫比的1.0、1.5或2.0倍。在一些實例中，EL之縮放因子可大於BL。舉例而言，EL中之圖片的大小可大於BL中之圖片之大小。以此方式，有可能(儘管並非限制)EL之空間解析度大於BL之 空間解析度的。
在H.264之SVC擴展中，可使用經提供用於SVC之不同層來執行當前區塊之預測。此預測可稱作層間預測。層間預測方法可用於SVC中，以便減少層間冗餘。層間預測之一些實例可包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用對基礎層中之共置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。
在層間運動預測之一些實施例中，基礎層之運動資料(例如，用於共置區塊)可用以預測增強層中之當前區塊。舉例而言，當寫碼增強層中之視訊單元時，視訊寫碼器可使用來自參考層之資訊以獲得可用以識別額外假設之額外運動補償資料。因為此等額外假設係自視訊位元串流中已經存在之資料隱含地導出，所以可以位元串流大小方面的很少代價或沒有額外代價地獲得視訊寫碼之額外效能。在另一實例中，來自空間相鄰視訊單元之運動資訊可用以定位額外假設。所導出之假設接著可經平均或以其他方式與顯式編碼之假設組合以產生對視訊單元之值的更好預測。
在SVC中，稱作BL內(或紋理BL)之模式係關於其中基礎層重建構像素用作對當前增強層區塊之預測的類別之模式。可在寫碼單元(CU)或預測單元(PU)層級應用此模式。舉例而言，CU或PU層級處之旗標可用以指示是否將使用此模式。另外，如下文所描述，作為視訊編碼及解碼程序之部分，轉換使用此模式自基礎層導出之殘餘資料。然而，當前技術不允許當利用將基礎層重建構像素用以預測當前增強層區塊的模式時基於正被轉換的資料之特性來選擇特定轉換。此等技術(如下文更詳細地描述)將允許實現更好的寫碼效率及減少之計算資源。
下文中參看隨附圖式更完整地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應將其理解為限於貫穿本發明所呈現之任何特定結構或功能。實情為，提供此等態樣，使得本揭示內容將為詳盡且完整的，且將向熟習此項技術者完全傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解本發明之範疇意欲涵蓋本文中揭示之新穎系統、裝置及方法之任一態樣，不管其係獨立於本發明之任一其他態樣實施抑或與本發明之任一其他態樣組合實施。舉例而言，可使用本文中所闡述之任何數目之態樣來實施一裝置或實踐一方法。另外，本發明之範疇意欲涵蓋除本文中所闡述的本發明之各種態樣之外或不同於本文中所闡述的本發明之各種態樣，亦使用其他結構、功能性或結構與功能性實踐之此種裝置或方法。應理解，可藉由一技術方案之一或多個要素來體現本文中所揭示之任何態樣。
雖然本文中描述特定態樣，但此等態樣之許多變化及排列屬於本發明之範疇內。雖然提及較佳態樣之一些益處及優點，但本發明之範疇並不意欲限於特定益處、用途或目標。實情為，本發明之態樣意欲可廣泛適用於不同無線技術、系統組態、網路及傳輸協定，其中一些以舉例方式在諸圖中且在較佳態樣之以下描述中加以說明。詳細描述及圖式僅說明本發明而非限制本發明，本發明之範疇由所附申請專利範圍及其等效物來定義。
視訊寫碼系統
圖1為說明可利用根據本發明中描述之態樣的技術之實例視訊寫碼系統10的方塊圖。如本文中所描述，術語「視訊寫碼器」泛指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可泛指視訊編碼及視訊解碼。
如圖1中所示，視訊寫碼系統10包括一源器件12及一目的地器件 14。源器件12產生經編碼視訊資料。目的地器件14可解碼由源器件12產生之經編碼視訊資料。源器件12可經由一電腦可讀媒體16提供視訊資料至目的地器件14。源器件12及目的地器件14可包括各種不同之器件，包括桌上型電腦、筆記型(亦即，膝上型)電腦、平板電腦、機上盒、電話手機(諸如，所謂「智慧型」手機)、所謂「智慧型」平板、電視、攝影機、顯示器件、數位媒體播放器、電玩主機，車內電腦、視訊串流器件，或其類似者。源器件12及目的地器件14可經配備以進行無線通信。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼之視訊資料自源器件12移至目的地器件14之一類型媒體或器件。舉例而言，電腦可讀媒體16可包含用以使源器件12能夠將經編碼之視訊資料直接即時傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線通信協定)調變經編碼之視訊資料，且將視訊資料傳輸至目的地器件14。通信媒體可包含一無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用以促進自源器件12至目的地器件14之通信的其他設備。
在一些實施例中，經編碼資料可自輸出介面22輸出至一儲存器件。類似地，可由輸入介面自該儲存器件存取經編碼資料。該儲存器件可包括多種分佈式或本端存取之資料儲存媒體中的任一者，諸如硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存視訊資料之其他數位儲存媒體。儲存器件可對應於可儲存由源器件12產生之經編碼視訊的檔案伺服器或另一中間儲存器件。目的地器件14可經由串流或下載自儲存器件存取所儲存視訊資 料。檔案伺服器可為能夠儲存經編碼視訊資料且將彼經編碼視訊資料傳輸至目的地器件14之一類型伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由標準資料連接(包括網際網路連接)而存取經編碼之視訊資料。此資料連接可包括無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之適合於存取儲存於檔案伺服器上之經編碼之視訊資料的組合。經編碼之視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
除無線應用或設定外，本發明之技術亦可應用於應用或設定。可將該等技術應用於視訊寫碼而支援多種多媒體應用中之任一者，諸如空中電視廣播、有線電視傳輸、衛星電視傳輸、網際網路串流視訊傳輸(諸如經由HTTP之動態適應性串流(DASH))、被編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊的解碼或其他應用。在一些實施例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。源器件12之視訊編碼器20可經組態以應用用於符合多種標準或標準擴展而寫碼一包括視訊資料之位元串流的技術。在其他實施例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件建立介面連接，而非包括整合式顯示器件。
源器件12之視訊源18可包括諸如視訊攝影機之視訊俘獲器件、含有先前俘獲之視訊的視訊存檔，及/或用以自視訊內容提供者接收視訊之視訊饋入介面。視訊源18可產生基於電腦圖形的資料作為源視訊，或實況視訊、存檔視訊及電腦產生之視訊的組合。在一些實施例 中，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的相機電話或視訊電話。經俘獲、經預先俘獲或經電腦產生之視訊可由視訊編碼器20來編碼。可藉由輸出介面22將經編碼之視訊資料輸出至電腦可讀媒體16。
電腦可讀媒體16可包括瞬間媒體(諸如無線廣播或有線網路傳輸)或儲存媒體(例如，非暫時性儲存媒體)(諸如硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體)。網路伺服器(未圖示)可自源器件12接收經編碼視訊資料，且(例如，經由網路傳輸)將經編碼視訊資料提供至目的地器件14。媒體製造設施(諸如光碟壓製設施)之計算器件可自源器件12接收經編碼視訊資料，且產生含有經編碼視訊資料之光碟。因此，可將電腦可讀媒體16理解為包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28可接收來自電腦可讀媒體16之資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義之語法資訊(其可由視訊解碼器30使用)，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理之語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包括各種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中的高效率視訊寫碼(HEVC)標準之視訊寫碼標準而操作，且可符合HEVC測試模型(HM)。或者，視訊編碼器20及視訊解碼器30可根據諸如ITU-T H.264標準或者被稱作MPEG-4第10部分(進階視訊寫碼(AVC))之其他專屬或工業標準或此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。雖然未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊 解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為各種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當部分地以軟體實施技術時，器件可將用於軟體之指令儲存於非暫時性電腦可讀媒體中，且使用一或多個處理器在硬體中執行指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器中，其中任一者可整合為各別器件中之組合編碼器/解碼器(編碼解碼器(CODEC))的部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力係基於視訊寫碼器件之演進模型，其被稱作HEVC測試模型(HM)。HM假定視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，H.264提供九個框內預測編碼模式，而HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述視訊圖框或圖片可被劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)之序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。圖塊包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖片分割成一或多個圖塊。每一樹型區塊可根據四分樹而分裂成若干寫碼單元(CU)。一般而言，四分樹資料結構對於每個CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU， 則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中之一者。
該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，在該四分樹中之節點可包括分裂旗標，其指示是否將對應於該節點之CU分裂成子CU。可遞歸地定義用於CU之語法元素，且用於CU之語法元素可視CU是否分裂成子CU而定。若一CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在對原始葉CU之明顯分裂，一葉CU之四個子CU亦會被稱作葉CU。舉例而言，若一16×16大小之CU未經進一步分裂，則四個8×8子CU亦會被稱作葉CU，儘管該16×16 CU從未經分裂。
除了CU不具有大小區別之外，CU之用途類似於H.264標準之巨集區塊之用途。舉例而言，樹型區塊可分裂成四個子節點(亦被稱作子CU)，且每一子節點可又為父節點並分裂成另外四個子節點。被稱作四分樹之葉節點之最終的未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與一經寫碼的位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義一最小寫碼單元(SCU)。本發明使用術語「區塊」來指在HEVC之內容脈絡中之CU、PU或TU中的任一者，或在其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點及與該寫碼節點相關聯之若干預測單元(PU)及轉換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8像素直至具有最大64×64像素或大於64×64像素之樹型區塊之大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU係經跳過或直接模式編碼、經框內預測模式編 碼抑或經框間預測模式編碼而不同。PU可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU之分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之轉換，該等轉換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU大小，但可能並非總是如此狀況。TU通常具有與PU相同的大小，或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(RQT)之四分樹結構將對應於CU之殘餘樣本再分成較小單元。RQT之葉節點可被稱作轉換單元(TU)。可轉換與TU相關聯之像素差值以產生可量化之轉換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於對應CU之全部或一部分之空間區域，且可包括用於擷取PU之參考樣本之資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU之TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量之資料。定義PU之運動向量之資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量之解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖片，及/或運動向量之參考圖片清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個轉換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定轉換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個轉換單元。接著，每一轉換單元可進一步分裂成其他子TU。當TU不被進一步分裂時，其可被稱作葉TU。一般而言，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，一般應用相同框內預測模式來計算一葉 CU的所有TU之預測值。對於框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為在CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，一PU可與同一CU之一對應葉TU共置。在一些實例中，一葉TU之最大大小可對應於對應葉CU之大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。亦即，葉CU可包括指示如何將葉CU分割成TU之四分樹。TU四分樹之根節點一般對應於葉CU，而CU四分樹之根節點一般對應於樹型區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來指葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖片。圖片群組(GOP)通常包含視訊圖片中之一系列的一或多者。GOP可在GOP之標頭、圖片中之一或多者之標頭中或在別處包括描述包括於GOP中之圖片數目的語法資料。圖片之每一圖塊可包括描述該各別圖塊之編碼模式的圖塊語法資料。視訊編碼器20通常對個別視訊圖塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小方面不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測之不對稱分割。在不對稱分割中，CU之一方向未分割，而另一方向分割成25%及75%。CU之對應於25%分割區之部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如， 「2N×nU」指在水平方向上分割而具有頂部2N×0.5N PU及底部2N×1.5N PU之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。大體而言，16x16區塊在垂直方向中將具有16個像素(y=16)且在水平方向中將具有16個像素(x=16)。同樣地，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。另外，區塊未必需要在水平方向中與在垂直方向中具有相同數目個像素。舉例而言，區塊可包含NxM個像素，其中M未必等於N。
在使用CU之PU的框內預測或框間預測寫碼後，視訊編碼器20可計算CU之TU的殘餘資料。PU可包含描述產生空間域(亦稱作像素域)中之預測性像素資料之方法或模式的語法資料，且TU可包含在將轉換(例如，離散正弦轉換(DST)、離散餘弦轉換(DCT)、整數轉換、小波轉換或概念上類似之轉換)應用於殘餘視訊資料後在轉換域中之係數。該殘餘資料可對應於未經編碼之圖片之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著轉換該等TU以產生CU之轉換係數。
如下文較詳細地論述，視訊編碼器20或視訊解碼器30可經組態以基於正被寫碼視訊之一或多個特性選擇一轉換。舉例而言，可基於轉換單元大小及視訊類型(例如，色度、明度)以及其他特性來選擇轉換。下文中(包括(例如)參看圖4及圖5)較詳細地描述可藉由視訊編碼器20或解碼器30實施的判定或選擇轉換之方法。
在應用任何轉換以產生轉換係數之後，視訊編碼器20可執行轉換係數之量化。量化為意欲具有其最廣泛一般含義的廣義術語。在一實施例中，量化指將轉換係數量化以可能地減少用以表示該等係數之 資料之量從而提供進一步壓縮的程序。該量化程序可減少與該等係數中之一些或所有係數相關聯的位元深度。舉例而言，可在量化期間將一n位元值降值捨位至一m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描轉換係數，從而自包括該等經量化之轉換係數之該二維矩陣產生一個一維向量。該掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用一預定義掃描次序來掃描該等經量化之轉換係數，以產生可經熵編碼的一串列化向量。在其他實例中，視訊編碼器20可執行一自適應性掃描。在掃描該等經量化之轉換係數以形成一個一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼之視訊資料相關聯的語法元素，以供視訊解碼器30用於解碼視訊資料。
為了執行CABAC，視訊編碼器20可將依上下文模型內之一上下文指派給待傳輸之一符號。該上下文可能係關於(例如)該符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之一符號選擇一可變長度碼。可建構VLC中之碼字使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可基於指派給該符號之一上下文而進行。
視訊編碼器20可進一步發送語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)至視訊解碼器30(例如，在一圖框標頭、一區塊標頭、一圖塊標頭或一GOP標頭中)。該GOP語法資料可描述各別GOP中的圖框之數目，且圖框語法 資料可指示用以編碼相應圖框之一編碼/預測模式。
視訊編碼器
圖2為說明可實施根據本發明中描述之態樣的技術的視訊編碼器之實例的方塊圖。視訊編碼器20可經組態以執行本發明描述之技術中的任一者或所有，包括(但不限於)選擇下文參看圖4及圖5較詳細描述的轉換之方法。作為一實例，轉換處理單元52及逆轉換單元60可經組態以執行本發明中描述之技術中的任一者或所有。在另一實施例中，編碼器20包括一經組態以執行本發明中描述之技術中的任一者或所有的可選層間預測單元66。在其他實施例中，層間預測可藉由模式選擇單元40執行，在該狀況下可省略層間預測單元66。然而，本發明之態樣並非受限於此。在一些實例中，本發明中描述之技術可在視訊編碼器20之各種組件之間共用。在一些實例中，除此之外或作為替代，處理器(未圖示)亦可經組態以執行本發明中描述之技術中的任一者或所有。
視訊編碼器20可執行視訊圖塊內之視訊區塊的框內、框間及層間預測(有時稱作框內、框間及層間寫碼)。框內寫碼依賴於空間預測以減小或移除給定視訊圖框或圖片內之視訊的空間冗餘。框間寫碼依賴於時間預測以減小或移除視訊序列之鄰近圖框或圖片內之視訊的時間冗餘。層間寫碼依賴於基於相同視訊寫碼序列內的一(或多個)不同層內之視訊的預測。框內模式(I模式)可指若干基於空間之寫碼模式中的任一者。框間模式(諸如，單向預測(P模式)或雙向預測(B模式))可指若干基於時間之寫碼模式中的任一者。
如圖2中所示，視訊編碼器20接收待編碼之視訊圖框內之當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、轉換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框 內預測單元46、層間預測單元66及分割單元48。
對於視訊區塊重建構，視訊編碼器20亦包括逆量化單元58、逆轉換單元60及求和器62。亦可包括解區塊濾波器(圖2中未展示)以對區塊邊界濾波以自重建構之視訊移除方塊效應假影。若需要，則解區塊濾波器通常將對求和器62之輸出濾波。除解區塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。出於簡潔性未展示此等濾波器，但若需要，則此等濾波器可對求和器50之輸出濾波(作為迴路內濾波器)。
在該編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或圖塊。可將該圖框或圖塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測單元46可替代性地執行相對於在與待寫碼之區塊相同之圖框或圖塊中的一或多個鄰近區塊的對所接收之視訊區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇用於視訊資料之每一區塊之適當寫碼模式。
此外，分割單元48可基於對先前寫碼遍次中之先前分割方案之評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48可初始地將一圖框或圖塊分割成LCU，且基於速率-失真分析(例如，速率-失真最佳化，等等)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可(例如)基於誤差結果來選擇寫碼模式(框內、框間或層間預測模式)中之一者，且將所得經框內寫碼區塊、經框間寫碼區塊或經層間寫碼區塊提供至求和器50以產生殘餘區塊資料，及提供至求和器62以重建構該經編碼區塊以用作一參考圖框。模式選擇 單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分別加以說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊之運動。舉例而言，運動向量可指示在一當前視訊圖框或圖片內之一視訊區塊的一PU相對於在一參考圖框(或其他經寫碼單元)內的一預測性區塊(其關於在該當前圖框(或其他經寫碼單元)內正被寫碼的當前區塊)之位移。預測性區塊為被發現在像素差方面緊密地匹配待寫碼區塊之區塊，該像素差可藉由絕對差和(SAD)、平方差和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖片的次整數像素位置之值。舉例而言，視訊編碼器20可內插該參考圖片之四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置之運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼圖塊中之視訊區塊的PU之位置與參考圖片之預測性區塊之位置而計算該PU之運動向量。該參考圖片可選自一第一參考圖片清單(清單0)或一第二參考圖片清單(清單1)，清單0或清單1中之每一者識別儲存於參考圖框記憶體64中之一或多個參考圖片。運動估計單元42將所計算之運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及基於由運動估計單元42所判定之運動向量來提取或產生預測性區塊。在一些實例中，運動估計單元42及運動補償單元44可在功能上整合。在接收到當前視訊區塊之PU之運動向量時，運動補償單元44可在參考圖片清單中之一者中探尋運動向量所指向的預測性區塊。求和器50藉由自正被寫碼之當 前視訊區塊之像素值減去預測性區塊之像素值從而形成像素差值來形成殘餘視訊區塊，如下文所論述。在一些實施例中，運動估計單元42可執行關於明度分量的運動估計，且運動補償單元44可將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40亦可產生與視訊區塊及視訊圖塊相關聯之語法元素以供視訊解碼器30在解碼視訊圖塊之視訊區塊時使用。
如上文所描述，作為由運動估計單元42及運動補償單元44執行之框間預測的替代例，框內預測單元46可框內預測或計算當前區塊。詳言之，框內預測單元46可判定待用以編碼當前區塊之框內預測模式。在一些實例中，框內預測單元46可(例如)在單獨之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自經測試之模式中選擇待使用之適當框內預測模式。
舉例而言，框內預測單元46可使用對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試模式當中選擇具有最佳速率-失真特性之框內預測模式。速率-失真分析一般判定經編碼區塊與經編碼以產生該經編碼區塊的原始未經編碼區塊之間的失真(或誤差)之量，以及用以產生經編碼區塊之位元率(亦即，位元數目)。框內預測單元46可根據各種經編碼區塊之失真及速率計算比率，以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在選擇一用於區塊之框內預測模式之後，框內預測單元46可提供指示用於區塊之選定框內預測模式的資訊至熵編碼單元56。熵編碼單元56可編碼指示該選定之框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文之定義，及將用於該等上下文中之 每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20可包括層間預測單元66。層間預測單元66經組態以使用在SVC中可用之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中之當前區塊)。此預測可稱作層間預測。層間預測單元66利用預測方法來減少層間冗餘，藉此改良寫碼效率並減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用對基礎層中之共置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。轉換處理單元52將諸如離散餘弦轉換(DCT)或概念上類似之轉換的轉換應用於殘餘區塊，從而產生包含殘餘轉換係數值之視訊區塊。轉換處理單元52可執行概念上類似於DCT之其他轉換。舉例而言，亦可使用離散正弦轉換(DST)、小波轉換、整數轉換、子頻帶轉換或其他類型之轉換。在一實施例中，轉換處理單元52基於殘餘區塊之特性而選擇轉換。舉例而言，轉換處理單元52可基於轉換單元大小及正被寫碼之區塊的色彩分量類型(例如，明度、色度)而選擇轉換。轉換處理單元52可執行下文中參看圖4及圖5描述之方法。
轉換處理單元52可將轉換應用於殘餘區塊，從而產生一殘餘轉換係數區塊。該轉換可將殘餘資訊自像素值域轉換至轉換域(諸如頻域)。轉換處理單元52可將所得的轉換係數發送至量化單元54。量化單元54量化該等轉換係數以進一步減少位元率。該量化程序可減少與 該等係數中之一些或所有相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行對包括經量化之轉換係數之矩陣的掃描。或者，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化之轉換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼之狀況下，上下文可基於相鄰區塊。在藉由熵編碼單元56進行之熵寫碼之後，可將經編碼之位元串流傳輸至另一器件(例如，視訊解碼器30)或經封存以供稍後傳輸或擷取。
逆量化單元58及逆轉換單元60分別應用逆量化及逆轉換以在像素域中重建構殘餘區塊(例如，以供稍後用作參考區塊)。運動補償單元44可藉由將該殘餘區塊加至參考圖框記憶體64之圖框中之一者的一預測性區塊來計算一參考區塊。運動補償單元44亦可對該經重建構的殘餘區塊應用一或多個內插濾波器以計算用於在運動估計中使用之次整數像素值。求和器62將該經重建構的殘餘區塊加至由運動補償單元44產生之經運動補償的預測區塊，以產生一經重建構的視訊區塊以用於儲存於參考圖框記憶體64中。該經重建構的視訊區塊可由運動估計單元42及運動補償單元44用作一參考區塊以便框間寫碼在隨後視訊圖框中之區塊。
視訊解碼器
圖3為說明可實施根據本發明中描述之態樣的技術的視訊解碼器之實例的方塊圖。視訊解碼器30可經組態以執行本發明之任一或所有技術，包括(但不限於)下文參看圖4及圖5較詳細描述的選擇轉換之方法。作為一實例，逆轉換單元78可經組態以執行本發明中描述之技術中的任一者或所有。然而，本發明之態樣並非受限於此。在一些實例 中，本發明中描述之技術可在視訊解碼器30之各種組件之間共用。在一些實例中，除此之外或作為替代，處理器(未圖示)亦可經組態以執行本發明中描述之技術中的任一者或所有。
在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、層間預測單元75、逆量化單元76、逆轉換單元78、參考圖框記憶體82及求和器80。在一些實施例中，運動補償單元72及/或框內預測單元74可經組態以執行層間預測，在該狀況下可省略層間預測單元75。在一些實例中，視訊解碼器30可執行一解碼遍次，該解碼遍次大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收一表示經編碼視訊圖塊之視訊區塊及相關聯語法元素的經編碼視訊位元串流。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可接收處於視訊圖塊層級及/或視訊區塊層級的語法元素。
當視訊圖塊經寫碼為框內寫碼(I)圖塊時，框內預測單元74可基於所傳信之框內預測模式及來自當前圖框或圖片之先前經解碼區塊的資料而產生當前視訊圖塊之視訊區塊的預測資料。當視訊圖框經寫碼為經框間寫碼(例如，B、P或GPB)圖塊時，運動補償單元72基於自熵解碼單元70接收之運動向量及其他語法元素而產生用於當前視訊圖塊之視訊區塊的預測性區塊。可根據參考圖片清單中之一者內的參考圖片中之一者產生預測性區塊。視訊解碼器30可使用預設建構技術、基於儲存於參考圖框記憶體82中之參考圖片來建構參考圖框清單(清單0 及清單1)。運動補償單元72藉由剖析運動向量及其他語法元素來判定用於當前視訊圖塊之視訊區塊的預測資訊，且使用預測資訊來產生用於正被解碼之當前視訊區塊之預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素來判定用以寫碼視訊圖塊之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測圖塊類型(例如，B圖塊、P圖塊或GPB圖塊)、針對圖塊之參考圖片清單中之一或多者的建構資訊、圖塊之每一框間編碼視訊區塊之運動向量、圖塊之每一框間寫碼視訊區塊之框間預測狀態，及用以解碼當前視訊圖塊中之視訊區塊之其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可根據所接收之語法元素判定由視訊編碼器20使用之內插濾波器，且使用該等內插濾波器來產生預測性區塊。
視訊解碼器30亦可包括一層間預測單元75。層間預測單元75經組態以使用在SVC中可用之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中之當前區塊)。此預測可稱作層間預測。層間預測單元75利用預測方法來減少層間冗餘，藉此改良寫碼效率並減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用對基礎層中之共置區塊的重建構來預測增強層中之當前區塊。層間運動預測使用基礎層之運動資訊來預測增強層中之運動。層間殘餘預測使用基礎層之殘餘來預測增強層之殘餘。逆量化單元76逆量化(例如，解量化)位元串流中所提供並由熵解碼單元70解碼的經量化轉換係數。逆量化程序可包括使用由視訊解碼器30針對視訊圖塊中之每一視訊區塊計算的量化參數QPY以判定量化程度，及(同樣)應應用的逆量化之程度。
逆轉換單元78將逆轉換(例如，逆DCT、逆DST、逆整數轉換或概念上類似之逆轉換程序)應用於轉換係數，以便在像素域中產生殘餘區塊。在一實施例中，逆轉換單元78基於正被解碼之視訊資訊的一或多個特性選擇欲應用的特定轉換。舉例而言，逆轉換單元78可基於視訊資訊之轉換單元大小及色彩分量類型而選擇轉換。逆轉換單元78可執行下文參看圖4及圖5較詳細地描述之方法。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自逆轉換單元78之殘餘區塊與由運動補償單元72產生的對應預測性區塊求和而形成經解碼之視訊區塊。求和器90表示執行此求和運算之(多個)組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波，以便移除方塊效應假影。其他迴路濾波器(寫碼迴路中抑或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改良視訊品質。接著將給定圖框或圖片中之經解碼之視訊區塊儲存於參考圖片記憶體82中，其儲存用於後續運動補償之參考圖片。參考圖框記憶體82亦儲存用於稍後呈現於顯示器件(諸如圖1之顯示器件32)上之經解碼視訊。
BL內轉換選擇
在SVC中，稱作BL內(或紋理BL)之模式為一將基礎層重建構像素用以預測當前增強層區塊之值的視訊寫碼模式。可在寫碼單元(CU)或預測單元(PU)層級處應用BL內模式。舉例而言，在CU或PU層級傳信之旗標可用以指示何時要使用此模式。
如上文所論述，在HEVC中，DST及DCT轉換可應用於殘餘資訊。舉例而言，DST 4×4可應用於以框內預測寫碼之明度區塊的4×4轉換單元(TU)(例如，具有4像素乘4像素之大小的TU)，而無關於特定框內方向。DCT轉換用於較大TU、以框間模式寫碼之區塊，及色度殘餘。
在2012年9月10日申請之美國申請案第61/699,120號(該案以全文引用之方式併入本文中)中，描述在DCT轉換與DST轉換之間的切換之特定實施。本發明提供關於可如何選擇轉換並將其應用於BL內模式寫碼視訊資訊的特定實施方案。
在一實施例中，當以BL內模式編碼或解碼視訊時，在第一轉換與第二轉換(例如，DST或DCT)之間的選擇可取決於正被寫碼之視訊資訊的轉換單元(TU)大小及色彩分量類型兩者。舉例而言，DST 4×4可應用於BL內預測區塊之4×4明度TU，且DCT可應用於色度殘餘及大小大於4×4之明度TU。在此實施中，有利地，未針對現有HEVC實施中的明度框內預測區塊引入新核心。
另外，在另一實施例中，僅當將DST用以在其他框內預測模式中轉換4×4明度TU時(如HEVC之狀況一樣)才可應用基於BL內模式之明度TU大小的轉換切換或選擇(例如，將DST 4×4用於4×4明度TU及將DCT用於色度及較大明度TU)。舉例而言，若DST不應用於其他框內模式及所有框內方向，則DST不可用於BL內模式寫碼區塊之4×4明度TU。在此實施例中，DCT而非DST可用於BL內模式寫碼區塊之4×4明度TU。
替代性地或額外地，上述實例中之DST轉換可用以轉換I圖塊，且DCT可用以轉換非I圖塊(諸如P或B圖塊)。舉例而言，DST 4×4轉換可與4×4明度TU一起使用，其中僅針對I圖塊根據BL內模式執行預測；而對於其他圖塊、色度區塊及較大明度TU，可使用DCT。
另外，可使用現有轉換係數寫碼方法來寫碼自上述轉換選擇及使用方法(或類似此等方法)中之任一者獲得的轉換係數。舉例而言，如同用於其他預測模式(諸如用於框內預測區塊之TU)，可使用有效值映像寫碼、層級寫碼及/或上下文模型化來寫碼轉換係數。
另外，雖然上文描述之技術已描述基於明度TU大小是否為4×4的 轉換選擇，但可使用其他明度TU大小。舉例而言，可基於其他TU大小臨限應用相同方法。舉例而言，轉換選擇可係基於明度TU大於4×4(例如，8×8明度TU)抑或小於4×4(例如，2×2明度TU)。另外，相同或類似技術可應用於色度區塊。舉例而言，當根據BL內模式寫碼視訊資訊時，若色度TU為臨限大小(例如，4×4等)，則可選擇第一轉換(例如，DST等)，且若色度TU大小大於臨限大小或若色彩分量類型為明度(或任一大小的TU)，則可選擇第二轉換(例如，DCT等)。
另外，若在將來對於HEVC或其他視訊編碼解碼器擴展引入其他框內預測模式(例如組合之框內模式或其他)，則可使用上述相同轉換選擇方法(例如，使用針對BL內模式描述的DST及DCT轉換)。上文提及之方法可應用於其他類型之DCT或DST以及任一其他類型之轉換，不一定限於上文論述之彼等轉換。
圖4說明可由圖2之視訊編碼器20或圖3之視訊解碼器30執行的一選擇轉換的方法之一實施例。方法400在區塊405處開始。在區塊410處，接收增強層(EL)區塊資訊。舉例而言，視訊編碼器20或視訊解碼器30可接收視訊資訊並將其儲存於記憶體中。在區塊415處，判定EL區塊資訊是否指示將基於來自基礎層(BL)區塊之資訊而判定EL區塊。舉例而言，在區塊415處，判定是否將根據BL內模式來寫碼EL區塊。若是，則方法400進行至區塊420；若否，則方法400在區塊435處結束。
在區塊420處，識別EL區塊之色彩分量類型。舉例而言，判定正被寫碼之EL區塊為明度資訊抑或色度資訊。方法400接著進行至區塊425。在區塊425處，判定色彩分量類型是否為預定類型。若是，則方法400繼續至區塊430；若否，則方法400繼續至區塊440。在區塊430處，選擇第一轉換。方法400接著在區塊435處結束。
在區塊440處，識別EL區塊之轉換單元大小。在區塊445處，基 於TU大小選擇轉換。舉例而言，若TU大小小於、大於或不等於預定臨限大小(例如，2×2、4×4、8×8等)，則可選擇第一轉換；否則，選擇第二轉換。方法400可視情況包括使用選定之轉換來寫碼(例如，編碼或解碼)視訊資訊。另外，方法400進行至區塊435，在區塊435中方法400結束。
圖5說明可由圖2之視訊編碼器20或圖3之視訊解碼器30執行的一選擇轉換之方法的另一實施例。方法500在區塊505處開始。在區塊510處，判定是否將根據BL內模式來寫碼正被寫碼之視訊資訊。若是，則方法500繼續至區塊515；若否，則方法500繼續至區塊535並結束。
在區塊515處，判定正被寫碼的視訊資訊之色彩分量類型是否為明度。若是，則方法500繼續至區塊520；若否，則方法500繼續至區塊530。在區塊520處，判定正被寫碼之視訊資訊的轉換單元大小是否為4×4。若是，則方法繼續至區塊525；若否，則方法500繼續至區塊530。
在區塊525處，選擇DST轉換。在區塊530處，選擇DCT轉換。方法500可視情況包括使用選定轉換來寫碼(例如，編碼或解碼)視訊資訊。另外，方法500接著可自區塊525或區塊530行進至區塊535，在區塊535中方法500結束。
雖然上文揭示內容已描述特定實施例，但許多變化係可能的。舉例而言，如上文所提及，上文技術可應用於3D視訊編碼。在3D視訊之一些實施例中，參考層(例如，基礎層)包括足以顯示視訊之第一視圖的視訊資訊且增強層包括與參考層有關的額外視訊資訊，使得參考層及增強層一起包括足以顯示視訊之第二視圖的視訊資訊。此等兩個視圖可用以產生立體影像。如上文所論述，根據本發明之態樣，當編碼或解碼增強層中之視訊單元時，來自參考層之運動資訊可用以識 別額外隱含假設。此可為3D視訊位元串流提供較大寫碼效率。
應瞭解，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可被添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器並行而非順序地執行動作或事件。
在一或多個實例中，所描述功能可以硬體、軟體、韌體或其任何組合予以實施。若以軟體予以實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體進行傳輸，且由基於硬體之處理單元執行。電腦可讀媒體可包括電腦可讀儲存媒體(其對應於諸如資料儲存媒體之有形媒體)或通信媒體，通信媒體包括(例如)根據通信協定促進電腦程式自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體大體上可對應於(1)非暫時性的有形電腦可讀儲存媒體，或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取指令、程式碼及/或資料結構以用於實施本發明中所描述之技術的任何可用媒體。電腦程式產品可包括一電腦可讀媒體。
藉由實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用以儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取之任何其他媒體。又，任何連接可適當地稱為電腦可讀媒體。舉例而言，若使用同軸電纜、光纜、雙絞線、數位用戶線(DSL)或無線技術(諸如，紅外線、無線電及微波)而自網站、伺服器或其他遠端源傳輸指令，則同軸電纜、光纜、雙絞線、DSL或無線技術(諸如，紅外線、無線電及微波)包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、 載波、信號或其他暫時性媒體，而實情為，係有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位影音光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再生資料，而光碟藉由雷射以光學方式再生資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路之一或多個處理器來執行指令。因此，本文中所使用之術語「處理器」可指上述結構或適於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體模組內，或併入於組合式編碼解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可以多種器件或裝置予以實施，該等器件或裝置包括無線手機、積體電路(IC)或IC集合(例如，晶片集)。在本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術的器件之功能態樣，但未必要求藉由不同硬體單元來實現。更確切地，如上文所描述，可將各種單元組合於編碼解碼器硬體單元中，或藉由結合合適軟體及/或韌體的互操作性硬體單元(包括如上文所描述之一或多個處理器)之集合來提供該等單元。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。
400‧‧‧方法

Claims (31)

  1. 一種用於寫碼視訊資訊之裝置，該裝置包含：一記憶體，其經組態以儲存與一基礎層(BL)及一增強層(EL)相關聯之視訊資訊；及一處理器，其操作地耦接至該記憶體並經組態以：回應於與該增強層相關聯之該視訊資訊係將使用層間BL內預測基於與該基礎層相關聯之該視訊資訊而經寫碼的一判定，來判定與該增強層相關聯之該視訊資訊是否具有一特定色彩分量類型及小於或等於一臨限值的一轉換單元(TU)大小，及回應於與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及小於或等於該臨限值的該TU大小的一判定，來使用一離散正弦轉換寫碼與該增強層相關聯之該視訊資訊。
  2. 如請求項1之裝置，其中該處理器經進一步組態以回應於與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及大於該臨限值的一TU大小的一判定，來使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊。
  3. 如請求項1之裝置，其中該臨限值係4×4且該特定色彩分量類型為明度。
  4. 如請求項1之裝置，其中該處理器經進一步組態以若與該增強層相關聯之該視訊資訊的該色彩分量類型為色度，則使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊。
  5. 如請求項1之裝置，其中該處理器經進一步組態以若與該增強層相關聯之該視訊資訊的該TU大小大於4×4，則使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊。
  6. 如請求項1之裝置，其中該處理器經進一步組態以僅在該離散正 弦轉換亦經使用以在不同於BL內的預測模式中轉換4×4明度TU，使用該離散正弦轉換寫碼與該增強層相關聯之該視訊資訊。
  7. 如請求項1之裝置，其中該處理器經組態以僅在與該增強層相關聯之該視訊資訊係一I圖塊之部分，使用該離散正弦轉換寫碼與該增強層相關聯之該視訊資訊。
  8. 如請求項7之裝置，其中該處理器經進一步組態以若與該增強層相關聯之該視訊資訊係不同於一I圖塊之一圖塊之部分，則使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊。
  9. 如請求項1之裝置，其中該處理器經進一步組態以編碼與該增強層相關聯之該視訊資訊。
  10. 如請求項1之裝置，其中該處理器經進一步組態以解碼與該增強層相關聯之該視訊資訊。
  11. 如請求項1之裝置，其進一步包含一選自由下列各物組成之群組的器件：一桌上型電腦、一筆記型電腦、一平板電腦、一機上盒、一電話手機、一智慧型手機、一智慧型平板、一電視、一攝影機、一顯示器件、一數位媒體播放器、一電玩主機，一車內電腦及一視訊串流器件。
  12. 一種解碼視訊資訊之方法，該方法包含：接收與一基礎層(BL)及一增強層(EL)相關聯之視訊資訊；回應於判定與該增強層相關聯之該視訊資訊係將使用層間BL內預測基於與該基礎層相關聯之該視訊資訊而經解碼，來判定與該增強層相關聯之該視訊資訊是否具有一特定色彩分量類型及小於或等於一臨限值的一轉換單元(TU)大小；及回應於判定與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及小於或等於該臨限值的該TU大小，來使用一逆離散 正弦轉換解碼與該增強層相關聯之該視訊資訊。
  13. 如請求項12之方法，其進一步包含回應於判定與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及大於該臨限值的一TU大小，來使用一逆離散餘弦轉換解碼與該增強層相關聯之該視訊資訊。
  14. 如請求項12之方法，其中該臨限值係4×4且該特定色彩分量類型為明度。
  15. 如請求項12之方法，其進一步包含若與該增強層相關聯之該視訊資訊的該色彩分量類型為色度，則使用一逆離散餘弦轉換解碼與該增強層相關聯之該視訊資訊。
  16. 如請求項12之方法，其進一步包含若與該增強層相關聯之該視訊資訊的該TU大小大於4×4，則使用一逆離散餘弦轉換解碼與該增強層相關聯之該視訊資訊。
  17. 如請求項12之方法，其中該解碼包含僅在該逆離散正弦轉換亦使用於不同於BL內的預測模式中之4×4明度TU，使用該逆離散正弦轉換解碼與該增強層相關聯之該視訊資訊。
  18. 如請求項12之方法，其中僅在與該增強層相關聯之該視訊資訊係一I圖塊之部分，該解碼使用該逆離散正弦轉換。
  19. 如請求項18之方法，其中若與該增強層相關聯之該視訊資訊係不同於一I圖塊之一圖塊之部分，則該解碼使用一逆離散餘弦轉換。
  20. 一種編碼視訊資訊之方法，該方法包含：接收與一基礎層(BL)及一增強層(EL)相關聯之視訊資訊；回應於判定與該增強層相關聯之該視訊資訊係將使用層間BL內預測基於與該基礎層相關聯之該視訊資訊而經編碼，來判定與該增強層相關聯之該視訊資訊是否具有一特定色彩分量類型 及小於或等於一臨限值的一轉換單元(TU)大小；及回應於判定與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及小於或等於該臨限值的該TU大小，來使用一離散正弦轉換編碼與該增強層相關聯之該視訊資訊。
  21. 如請求項20之方法，其進一步包含回應於判定與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及大於該臨限值的一TU大小，來使用一離散餘弦轉換編碼與該增強層相關聯之該視訊資訊。
  22. 如請求項20之方法，其進一步包含若與該增強層相關聯之該視訊資訊的該TU大小大於4×4，則使用一離散餘弦轉換編碼與該增強層相關聯之該視訊資訊。
  23. 如請求項20之方法，其中該編碼包含僅在該離散正弦轉換亦經使用以在不同於BL內的預測模式中轉換4×4明度TU，使用該離散正弦轉換來編碼與該增強層相關聯之該視訊資訊。
  24. 如請求項20之方法，其中僅在與該增強層相關聯之該視訊資訊係一I圖塊之部分，該編碼使用該離散正弦轉換。
  25. 如請求項24之方法，其中若與該增強層相關聯之該視訊資訊係不同於一I圖塊之一圖塊之部分，則該編碼使用一離散餘弦轉換。
  26. 一種非暫時性電腦可讀媒體，其包含當被執行時使一裝置執行以下動作的程式碼：接收與一基礎層(BL)及一增強層(EL)相關聯之視訊資訊；回應於與該增強層相關聯之該視訊資訊係將使用層間BL內預測基於與該基礎層相關聯之該視訊資訊而經寫碼的一判定，來判定與該增強層相關聯之該視訊資訊是否具有一特定色彩分量類型及小於或等於一臨限值的一轉換單元(TU)大小；及 回應於與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及小於或等於該臨限值的該TU大小的一判定，來使用一離散正弦轉換寫碼與該增強層相關聯之該視訊資訊。
  27. 如請求項26之媒體，其中該臨限值係4×4且該特定色彩分量類型為明度。
  28. 如請求項26之媒體，其中當與該增強層相關聯之該視訊資訊的該色彩分量類型為色度時該等指令進一步使該裝置使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊。
  29. 一種經組態以寫碼視訊資訊之裝置，該裝置包含：用於接收與一基礎層(BL)及一增強層(EL)相關聯之視訊資訊的構件；用於回應於與該增強層相關聯之該視訊資訊係將使用層間BL內預測基於與該基礎層相關聯之該視訊資訊而經寫碼的一判定來判定與該增強層相關聯之該視訊資訊是否具有一特定色彩分量類型及小於或等於一臨限值的一轉換單元(TU)大小之構件；及用於回應於與該增強層相關聯之該視訊資訊具有該特定色彩分量類型及小於或等於該臨限值的該TU大小的一判定來使用一離散正弦轉換寫碼與該增強層相關聯之該視訊資訊之構件。
  30. 如請求項29之裝置，其中該臨限值係4×4且該特定色彩分量類型為明度。
  31. 如請求項29之裝置，其進一步包含用於當與該增強層相關聯之該視訊資訊的該色彩分量類型為色度時使用一離散餘弦轉換寫碼與該增強層相關聯之該視訊資訊之構件。
TW102142123A 2012-11-19 2013-11-19 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體 TWI558174B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261728180P 2012-11-19 2012-11-19
US14/080,330 US9380307B2 (en) 2012-11-19 2013-11-14 Method and system for intra base layer (BL) transform in video coding

Publications (2)

Publication Number Publication Date
TW201444344A TW201444344A (zh) 2014-11-16
TWI558174B true TWI558174B (zh) 2016-11-11

Family

ID=50727905

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102142123A TWI558174B (zh) 2012-11-19 2013-11-19 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體

Country Status (3)

Country Link
US (1) US9380307B2 (zh)
TW (1) TWI558174B (zh)
WO (1) WO2014078703A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9544597B1 (en) 2013-02-11 2017-01-10 Google Inc. Hybrid transform in video encoding and decoding
US9967559B1 (en) 2013-02-11 2018-05-08 Google Llc Motion vector dependent spatial transformation in video coding
US9674530B1 (en) 2013-04-30 2017-06-06 Google Inc. Hybrid transforms in video coding
EP3202146B1 (en) * 2014-11-28 2022-08-17 HFI Innovation Inc. Method and apparatus of alternative transform for video coding
US9769499B2 (en) 2015-08-11 2017-09-19 Google Inc. Super-transform video coding
US10277905B2 (en) 2015-09-14 2019-04-30 Google Llc Transform selection for non-baseband signal coding
US9807423B1 (en) 2015-11-24 2017-10-31 Google Inc. Hybrid transform scheme for video coding
CN108605135A (zh) * 2016-02-04 2018-09-28 三星电子株式会社 依据色度多变换的视频解码方法和设备、以及依据色度多变换的视频编码方法和设备
US11539952B2 (en) * 2019-03-12 2022-12-27 Qualcomm Incorporated Implicit transform selection in video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US12120327B2 (en) 2023-02-01 2024-10-15 Realtek Semiconductor Corp. Method for processing LCEVC enhancement layer of residuals

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388815A2 (en) * 2002-04-25 2004-02-11 Microsoft Corporation Segmented layered image system
TWI339072B (en) * 2006-04-17 2011-03-11 Mediatek Inc Systems and methods for decoding large images
TWI370690B (en) * 2008-03-21 2012-08-11 Novatek Microelectronics Corp Method and apparatus for generating coded block pattern for highpass coeffecients

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703774B1 (ko) 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100763194B1 (ko) 2005-10-14 2007-10-04 삼성전자주식회사 단일 루프 디코딩 조건을 만족하는 인트라 베이스 예측방법, 상기 방법을 이용한 비디오 코딩 방법 및 장치
US8848787B2 (en) 2007-10-15 2014-09-30 Qualcomm Incorporated Enhancement layer coding for scalable video coding
US8432968B2 (en) 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN108391135B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
US20130003847A1 (en) * 2011-06-30 2013-01-03 Danny Hong Motion Prediction in Scalable Video Coding
KR20130049525A (ko) * 2011-11-04 2013-05-14 오수미 잔차 블록 복원을 위한 역변환 방법
CN104205819B (zh) 2012-02-01 2017-06-30 诺基亚技术有限公司 用于视频编码的方法和装置
US9319684B2 (en) 2012-08-21 2016-04-19 Qualcomm Incorporated Alternative transform in scalable video coding
US20140086316A1 (en) * 2012-09-24 2014-03-27 Louis Joseph Kerofsky Video compression with color space scalability
CN104813667B (zh) * 2012-11-15 2018-03-16 联发科技股份有限公司 用于可伸缩视频编码的帧间层预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1388815A2 (en) * 2002-04-25 2004-02-11 Microsoft Corporation Segmented layered image system
TWI339072B (en) * 2006-04-17 2011-03-11 Mediatek Inc Systems and methods for decoding large images
TWI370690B (en) * 2008-03-21 2012-08-11 Novatek Microelectronics Corp Method and apparatus for generating coded block pattern for highpass coeffecients

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianle Chen, Krishna Rapaka, Xiang Li, Vadim Seregin, Liwei Guo, Marta Karczewicz, Geert Van der Auwera, Joel Sole, Xianglin Wang, Chengjie Tu, and Ying Chen, "Description of scalable video coding technology proposal by Qualcomm (configuration 2)," JCTVC-K0036, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 11th Meeting: Shanghai, CN, 10-19 October *

Also Published As

Publication number Publication date
US20140140393A1 (en) 2014-05-22
US9380307B2 (en) 2016-06-28
TW201444344A (zh) 2014-11-16
WO2014078703A1 (en) 2014-05-22

Similar Documents

Publication Publication Date Title
JP6636564B2 (ja) ビデオコーディングにおける４：２：２サンプルフォーマットのためのコード化ブロックフラグ（ｃｂｆ）コーディング
TWI766844B (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
TWI558174B (zh) 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體
KR102310751B1 (ko) 비트스트림 파티션들에 대한 hrd 파라미터들의 시그널링
KR102267876B1 (ko) 비디오 코딩을 위한 병렬 프로세싱
TWI520573B (zh) 用於寫碼視訊資料之方法、器件及電腦可讀儲存媒體
KR101825262B1 (ko) B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한
KR102334126B1 (ko) 인트라 블록 복사를 위한 레지듀얼 예측
TWI527460B (zh) 於視訊寫碼中發信用於操作點之層識別符
TWI527440B (zh) 在視訊寫碼中針對高效率視訊寫碼（ｈｅｖｃ）延伸之多層之低複雜度支援
TWI558179B (zh) 對視訊寫碼發信長期參考圖像
KR101663397B1 (ko) 가중 예측 파라미터 코딩
JP6158422B2 (ja) アラインされていないｉｒａｐピクチャを含み得るマルチレイヤビットストリームのクロスレイヤｐｏｃアラインメント
CN107223333B (zh) 用以减少译码参数的hevc预测的可用性检查的填补方法和装置
JP2018537908A (ja) ビデオデータの符号情報をコーディングすること
TW201509171A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TW201444350A (zh) 方形區塊預測
TW201401884A (zh) 視訊寫碼之層間合併清單建立
KR20140017015A (ko) 메모리 효율적인 컨텍스트 모델링
KR20140130466A (ko) B 슬라이스에서의 예측 유닛의 단방향성 인터 예측으로의 제한
TWI523530B (zh) 導出最末位置寫碼之上下文以供視訊寫碼
KR102148061B1 (ko) Mv-hevc 에서의 인터-뷰 종속성 타입
TWI566582B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
KR20200037462A (ko) 상이한 종횡비를 갖는 공간 스케일러빌리티를 위한 계층간 참조 화상 구성
KR20140139571A (ko) 비디오 코딩을 위한 계층간 텍스처 예측

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees