TWI543590B - 用於可縮放視訊寫碼之空間運動向量縮放 - Google Patents

用於可縮放視訊寫碼之空間運動向量縮放 Download PDF

Info

Publication number
TWI543590B
TWI543590B TW103107143A TW103107143A TWI543590B TW I543590 B TWI543590 B TW I543590B TW 103107143 A TW103107143 A TW 103107143A TW 103107143 A TW103107143 A TW 103107143A TW I543590 B TWI543590 B TW I543590B
Authority
TW
Taiwan
Prior art keywords
size value
spatial size
scaling factor
scaling
value
Prior art date
Application number
TW103107143A
Other languages
English (en)
Other versions
TW201448573A (zh
Inventor
法迪姆 塞瑞金
郭立威
陳建樂
克里序納坎斯 拉帕卡
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201448573A publication Critical patent/TW201448573A/zh
Application granted granted Critical
Publication of TWI543590B publication Critical patent/TWI543590B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

用於可縮放視訊寫碼之空間運動向量縮放
本發明是關於視訊寫碼及壓縮之領域。詳言之，本發明是關於高效率視訊寫碼(HEVC)及其擴展，例如，可縮放視訊寫碼(SVC)、多視圖及3D寫碼(MVC、3DV)等。在一些實施例中，本發明是關於用於SVC的空間運動向量縮放。
數位視訊能力可併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型或桌上型電腦、平板型電腦、電子書閱讀器、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲主機、蜂巢式或衛星無線電電話、所謂的「智慧型手機」、視訊電話會議器件、視訊串流器件，及其類似者。數位視訊器件實施視訊寫碼技術，諸如在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分「進階視訊寫碼(AVC)」所界定之標準、目前正在開發之高效率視訊寫碼(HEVC)標準及此等標準之擴展中所描述的視訊寫碼技術。視訊器件可藉由實施此等視訊寫碼技術來更有效地傳輸、接收、編碼、解碼及/或儲存數位視訊資訊。
視訊寫碼技術包括空間(圖像內)預測及/或時間(圖像間)預測以減少或移除視訊序列中固有之冗餘。對於基於區塊之視訊寫碼，可將視 訊片段(例如，視訊圖框或視訊圖框之一部分)分割成視訊區塊(其亦可被稱作樹型區塊)、寫碼單元(CU)及/或寫碼節點。圖像之框內寫碼(I)截塊中的視訊區塊使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測來編碼。圖像之框間寫碼(P或B)截塊中之視訊區塊可使用相對於同一圖像中之相鄰區塊中之參考樣本的空間預測或相對於其他參考圖像中之參考樣本的時間預測。圖像可被稱作圖框，且參考圖像可被稱作參考圖框。
空間預測或時間預測導致用於待寫碼區塊之預測性區塊。殘餘資料表示待寫碼之原始區塊與預測性區塊之間的像素差。根據指向形成預測性區塊的參考樣本之區塊的運動向量及指示經寫碼區塊與預測性區塊之間的差異之殘餘資料來編碼框間寫碼區塊。根據框內寫碼模式及殘餘資料來編碼框內寫碼區塊。為了進一步壓縮，可將殘餘資料自像素域變換至變換域，從而引起殘餘變換係數，可接著量化該等殘餘變換係數。可掃描最初配置成二維陣列的經量化之變換係數以便產生變換係數之一維向量，且可應用熵寫碼以達成甚至更多壓縮。
在一些情形下，所要的是空間地縮放來自具有不同於正經編碼或解碼之層的空間縮放性之數個層的運動向量。在其他情形下，所要的是將來自層之視訊區塊的位置映射至正經編碼或解碼之層中的等效位置。然而，空間縮放及層間位置映射歸因於經執行以判定適當縮放參數之任意除法運算而通常需要增加的處理成本。
一般而言，本發明描述是關於可縮放視訊寫碼(SVC)的技術。下文描述之技術提供一種指示對於特定基礎層寫碼解碼器(例如，HEVC等)是否允許層間語法預測(包括運動資訊)的機構。
在一個實施中，提供一種用於編碼或解碼視訊資訊的裝置。該裝置包含一記憶體單元，該記憶體單元經組態以儲存與一基礎層及/ 或一增強層相關聯的視訊資訊。該裝置進一步包含可操作地耦接至該記憶體單元的一處理器。在一個實施例中，該處理器經組態以執行視訊資訊的空間運動向量縮放。舉例而言，該處理器可經組態以在一可縮放視訊寫碼框架內執行空間運動向量縮放。
在一個實施例中，提供一種用於對視訊資訊寫碼的裝置。該裝置包括一記憶體單元及一處理器。該記憶體單元經組態以儲存與一基礎層、一增強層或兩者相關聯之視訊資訊。該處理器可操作地耦接至該記憶體單元且經組態以：基於與該基礎層及該增強層相關聯之空間尺寸值判定一縮放因數，使得該縮放因數被約束於一預定範圍內；及使用該縮放因數及一時間運動向量縮放程序或函數來空間縮放與該基礎層或該增強層相關聯的一元素。
在另一實施例中，一種解碼視訊資訊之方法包括藉由耦接至經組態以儲存與一基礎層、一增強層或兩者相關聯之視訊資訊的一記憶體單元的一處理器基於與該基礎層及該增強層相關聯之空間尺寸值判定一縮放因數，使得該縮放因數被約束於一預定範圍內。該方法亦包括使用該縮放因數及一時間運動向量縮放程序來空間縮放與該基礎層或該增強層相關聯的一元素。該方法亦包括使用該空間縮放元素解碼該視訊資訊。
在另一實施例中，一種編碼視訊資訊之方法包括藉由耦接至經組態以儲存與一基礎層、一增強層或兩者相關聯之視訊資訊的一記憶體單元的一處理器基於與該基礎層及該增強層相關聯之空間尺寸值判定一縮放因數，使得該縮放因數被約束於一預定範圍內。該方法亦包括使用該縮放因數及一時間運動向量縮放程序來空間縮放與該基礎層或該增強層相關聯的一元素。該方法亦包括使用該空間縮放元素編碼該視訊資訊。
在另一實施例中，一種非暫態電腦可讀媒體包括指令，該等指 令在執行時使得一裝置基於與基礎層及增強層相關聯之空間尺寸值判定一縮放因數，使得該縮放因數被約束於一預定範圍內。該等指令亦使得該裝置使用該縮放因數及一時間運動向量程序來空間縮放與該基礎層或增強層相關聯的一元素。該等指令亦使得該裝置使用該空間縮放元素寫碼該視訊資訊。
在另一實施例中，一種裝置經組態以對視訊資訊寫碼。該裝置包括用於基於與基礎層及增強層相關聯之空間尺寸值判定一縮放因數使得該縮放因數被約束於一預定範圍內的構件。該裝置亦包括用於使用該縮放因數及一時間運動向量縮放程序來空間縮放與該基礎層或該增強層相關聯的一元素的構件。該裝置亦包括用於使用該空間縮放元素寫碼該視訊資訊的構件。
在以下隨附圖式及描述中闡述一或多個實例的細節，隨附圖式及描述並不意欲限制本文中所描述之發明概念的全範疇。其他特徵、目標及優點將自該描述及該等圖式以及自申請專利範圍係顯而易見。
10‧‧‧實例視訊寫碼系統
12‧‧‧源器件
14‧‧‧目的地器件
16‧‧‧電腦可讀媒體
18‧‧‧視訊源
20‧‧‧視訊編碼器
22‧‧‧輸出介面
28‧‧‧輸入介面
30‧‧‧視訊解碼器
32‧‧‧顯示器件
40‧‧‧模式選擇單元
42‧‧‧運動估計單元
44‧‧‧運動補償單元
46‧‧‧框內預測單元
48‧‧‧分割單元
50‧‧‧求和器
52‧‧‧變換處理單元
54‧‧‧量化單元
56‧‧‧熵編碼單元
58‧‧‧反量化單元
60‧‧‧反變換單元
62‧‧‧求和器
64‧‧‧參考圖框記憶體
66‧‧‧層間預測單元
70‧‧‧熵解碼單元
72‧‧‧運動補償單元
74‧‧‧框內預測單元
75‧‧‧層間預測單元
76‧‧‧反量化單元
78‧‧‧反變換單元
80‧‧‧求和器
82‧‧‧參考圖框記憶體
400‧‧‧方法
貫穿圖式，參考數字可經重用以指示所參考元件之間的對應。圖式經提供以說明本文中所描述的實例實施例，且並不意欲顯示本發明之範疇。
圖1為說明可利用根據本發明中所描述之態樣之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明可實施根據本發明中所描述之態樣之技術的視訊編碼器之實例的方塊圖。
圖3為說明可實施根據本發明中所描述之態樣之技術的視訊解碼器之實例的方塊圖。
圖4為根據本發明之態樣的說明使用時間縮放函數執行空間縮放之方法的實施例之流程圖。
本發明中所描述之技術大體上是關於可縮放視訊寫碼(SVC)及多視圖/3D視訊寫碼。舉例而言，該等技術可關於高效率視訊寫碼(HEVC)可縮放視訊寫碼(SVC，有時被稱作SHVC)擴展，且與該擴展一起使用或在該擴展內使用。在SVC擴展中，可存在多個視訊資訊層。最底部層級處之層可充當基礎層(BL)，且最頂部處之層(或最高層)可充當經增強層(EL)。「經增強層」有時被稱作「增強層」，且可互換地使用此等術語。基礎層有時被稱作「參考層」(RL)，且亦可互換地使用此等術語。基礎層與頂部層之間的所有層可充當EL或參考層(RL)中之任一者或兩者。舉例而言，中間的層可為在該層以下之數個層(諸如基礎層或任何介入增強層)的EL，且同時充當該層以上之增強層的RL。基礎層與頂部層(或最高層)之間的每一層可用作較高層之層間預測的參考，且可將較低層用作層間預測的參考。
為了簡單，僅依據兩個層來呈現實例：BL及EL；然而，應充分理解，下文所描述之理念及實施例亦適用於具有多個層的狀況。此外，為易於解釋，時常使用術語「訊框」或「區塊」。然而，此等術語並不意謂係限制性的。舉例而言，下文所描述之技術可與包括(但不限於)像素、區塊(例如，CU、PU、TU、巨集區塊等)、截塊、圖像等的多種視訊單元中之任一者一起使用。
視訊寫碼
視訊寫碼標準包括ITU-T H.261、ISO/IEC MPEG-1 Visual、ITU-T H.262或ISO/IEC MPEG-2 Visual、ITU-T H.263、ISO/IEC MPEG-4 Visual及ITU-T H.264(亦稱作ISO/IEC MPEG-4 AVC)(包括其可縮放視訊寫碼(SVC)及多視圖視訊寫碼(MVC)擴展)。SVC及MVC之最新聯合草案被描述於「Advanced video coding for generic audiovisual services」ITU-T推薦標準H.264(2010年3月)中。
此外，存在正在由ITU-T視訊寫碼專業團體(VCEG)及ISO/IEC動畫專業團體(MPEG)的關於視訊寫碼之聯合合作團隊(JCT-VC)開發的新視訊寫碼標準：高效視訊寫碼(HEVC)。新近高效率視訊寫碼(HEVC)文字規範草案可自http：//phenix.int-evry.fr/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v13.zip獲得。被稱作HEVC WD9的HEVC之另一新近工作草案(WD)可在http：//phenix.int-evry.fr/jct/doc_end__user/documents/11_Shanghai/wg11/JCTVC-K1003-v13.zip處獲得。HEVC之被稱作HEVC WD8(或WD8)的另一工作草案可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip處獲得。下文被稱作HEVC WD7的HEVC之另一工作草案可在http：//phenix.int-evry.fr/jct/doc_end_user/documents/9_Geneva/wg11/JCTVC-I1003-v5.zip處獲得。所有此等文獻之全文以引用之方式併入本文中。
在SVC中，可提供視訊資訊作為多個層。最底部層級處之層可僅充當基礎層(BL)，且最頂部層級處之層可充當增強層(EL)。頂部層與底部層之間的所有層可充當增強層及基礎層兩者。舉例而言，中間之層可為該層以下之層的EL，且同時為該層以上之層的BL。為了描述簡單，在說明下文描述之技術中，可假設存在兩個層BL及EL。然而，本文中所描述之所有技術又適用於具有多個(兩個以上)層的狀況。
可縮放視訊寫碼(SVC)可用以提供品質(亦稱作信雜比(SNR))可縮放性、空間可縮放性及/或時間可縮放性。舉例而言，在一個實施例中，參考層(例如，基礎層)包括足以以第一品質層級顯示視訊的視訊資訊，且增強層包括相對於參考層的額外視訊資訊，使得參考層及增強層一起包括足以以高於第一層級的第二品質層級(例如，較低雜訊、較大解析度、更好圖框拉等)顯示視訊的視訊資訊。經增強層相較於基礎層可具有不同空間解析度。舉例而言，EL與BL之間的空間 縱橫比可為1.0、1.5、2.0或其他不同比率。換言之，EL之空間縱橫比可等於BL之空間縱橫比的1.0、1.5或2.0倍。在一些實例中，EL之縮放因數可大於BL的縮放因數。舉例而言，EL中圖像的大小可大於BL中圖像的大小。以此方式，儘管並非限制，但可係可能的是，EL之空間解析度大於BL的空間解析度。
在H.264之SVC擴展中，當前區塊之預測可使用針對SVC提供之不同層來執行。此預測可被稱作層間預測。層間預測方法可用於SVC中以便減少層間冗餘。層間預測之一些實例可包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中共置區塊的重建構以預測增強層中的當前區塊。層間運動預測使用基礎層之運動資訊(包括運動向量)來預測增強層中的運動。層間殘餘預測使用基礎層之殘餘來預測增強層的殘餘。
在層間運動預測之一些實施例中，基礎層(例如，針對共置區塊)之運動資料(包括運動向量)可用以預測增強層中的當前區塊。舉例而言，雖然對增強層中之視訊單元寫碼，但視訊寫碼器可使用來自參考層之資訊來獲得可用以識別額外假定的額外運動補償資料。由於此等額外假定隱含地自視訊位元串流中之資料(現有資料)導出，因此視訊寫碼中之額外效能可以位元串流大小上之很少成本或無額外成本而獲得。在另一實例中，來自空間相鄰視訊單元之運動資訊可用以定位額外假定。所導出之假定可接著進行平均或以其他方式與顯式編碼假定組合以產生視訊單元之值的更好預測。在某些情形下，諸如在基底(或參考)層之空間解析度不同於當前區塊之層的空間解析度時，基礎層運動資訊在用以編碼或解碼當前區塊之前經空間縮放。同樣，在層具有不同於當前區塊之層的空間解析度時，如下文所描述，區塊在基底(或參考)層中的位置可藉由層間位置映射來判定。
空間運動向量縮放
來自基礎層之運動向量(MV)在至少合併或AMVP模式中可用作MV候選者。因為基礎層及增強層可潛在地具有不同解析度，所以來自基礎層之MV在用作層間MV預測候選者之前可需要根據解析度差進行縮放。在一個實例中，此縮放藉由下式表達：MV={MVx,MVy},
其中el指示增強層，bl指示基礎層，W指示寬度，且H指示高度。
以上公式出於說明性目的而提供，且可使用類似公式。舉例而言，在(例如)添加捨位偏移之處，可使用類似公式。
層間位置映射
基礎層圖像與增強層圖像之間的定位映射針對層間紋理及/或語法預測來執行。舉例而言，在層間紋理預測中，對於增強層之位置(x,y)處的像素(其可被稱作PEL(x,y))，可導出對應位置(blx,bly)。因此，可被稱作PBL(blx,bly)的基礎層之(blx,bly)處的像素值可用以預測PEL(x,y)的值。位置映射可表達為：
以上公式用於說明性目的，在(例如)可添加數位偏移之處，可使用類似公式。若基礎層圖像與增強層圖像具有不同修剪，則修剪參數可在公式中進行整合。然而，使用以上公式的一個缺點為，對於任意基礎層與增強層的縮放性縱橫比要求除法運算。如下文更詳細地論述，此除法運算在計算上為昂貴的，且要求廣泛計算資源及/或較大記憶體及頻寬要求。
已提議，在HEVC標準中可用之時間運動向量預測子(TMVP)縮放函數可用於基礎層MV縮放。此函數之輸入參數為經縮放之計算為 的變數，其等效於iScaleBase=256×elW/blW(其 中elW及blW分別對應於增強層圖像及基礎層圖像的寬度)。表達式x<<y係指使數字x之二進位表示向左移位y個位元，其等效於使數字x除以2y。類似地，表達式x>>y係指使數字x之二進位表示向右移位y個位元，其等效於使數字x乘以2y。對於無縮放，例如，在基礎層及增強層圖像大小相等時，輸入參數iScaleBase等於256。對於2x之縮放性(例如，當增強層圖像之寬度為基礎層之寬度的兩倍時)，輸入參數iScaleBase等於512，且對於1.5x，輸入參數iScaleBase等於384。此輸入參數可每序列計算一次。然而，如上文所提及，要求藉由任意除法器進行的除法，其可使編碼及/或解碼程序之成本增加及/或使效率減低。
下文中參看隨附圖式更充分地描述新穎系統、裝置及方法之各種態樣。然而，本發明可以許多不同形式來體現，且不應解譯為限於貫穿本發明所呈現之任何特定結構或功能。確切而言，此等態樣經提供，使得本發明將為詳盡且完整的，且將向熟習此項技術者充分傳達本發明之範疇。基於本文中之教示，熟習此項技術者應瞭解，本發明之範疇意欲涵蓋在本文中所揭示的新穎系統、裝置及方法的任何態樣，不管其獨立實施抑或與本發明之任何其他態樣相組合而實施。舉例而言，可使用本文中所闡述之任何數目個態樣來實施一裝置或實踐一方法。此外，本發明之範疇意欲涵蓋除本文中所闡述的本發明之各種態樣之外或不同於本文中所闡述的本發明之各種態樣的使用其他結構、功能性或結構與功能性實踐之此種裝置或方法。應理解，可藉由一技術方案之一或多個元素來體現本文中所揭示之任何態樣。
雖然本文中描述特定態樣，但此等態樣之許多變化及置換屬於本發明之範疇。雖然提及較佳態樣之一些益處及優點，但本發明之範疇並不意欲限於特定益處、用途或目標。確切而言，本發明之態樣意欲廣泛適用於不同無線技術、系統組態、網路及傳輸協定，其中一些藉由諸圖中及較佳態樣之以下描述中的實例來說明。實施方式及圖式僅說明本發明而非限制本發明，本發明之範疇由附加申請專利範圍及其等效物來界定。
視訊寫碼系統
圖1為說明可利用根據本發明中所描述之態樣之技術的實例視訊寫碼系統10的方塊圖。如本文中所使用所描述，術語「視訊寫碼器」一般係指視訊編碼器及視訊解碼器兩者。在本發明中，術語「視訊寫碼」或「寫碼」可一般係指視訊編碼及視訊解碼。
如圖1中所展示，視訊寫碼系統10包括源器件12及目的地器件14。源器件12產生經編碼之視訊資料。目的地器件14可解碼由源器件12產生之經編碼視訊資料。源器件12可經由電腦可讀媒體16將視訊資料提供至目的地器件14。源器件12及目的地器件14可包括廣泛範圍之器件，該等器件包括桌上型電腦、筆記型(例如，膝上型)電腦、平板電腦、機上盒、諸如所謂「智慧型」電話之電話手機、所謂「智慧型」板、電視、攝影機、顯示器件、數位媒體播放器、視訊遊戲機、車載電腦、視訊串流器件，或其類似者。源器件12及目的地器件14可為無線通信而裝備。
目的地器件14可經由電腦可讀媒體16接收待解碼之經編碼視訊資料。電腦可讀媒體16可包含能夠將經編碼視訊資料自源器件12移動至目的地器件14的一類型之媒體或器件。舉例而言，電腦可讀媒體16可包含通信媒體以使得源器件12能夠將經編碼視訊資料即時地直接傳輸至目的地器件14。可根據通信標準(諸如，無線通信協定)調變經編 碼視訊資料，且將經編碼視訊資料傳輸至目的地器件14。通信媒體可包含一無線或有線通信媒體，諸如，射頻(RF)頻譜或一或多個實體傳輸線。通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。通信媒體可包括路由器、交換器、基地台，或可用於促進自源器件12至目的地器件14之通信的其他設備。
在一些實施例中，可將經編碼資料自輸出介面22輸出至儲存器件。類似地，可藉由輸入介面自儲存器件存取經編碼資料。儲存器件可包括多種分散式或本端存取式資料儲存媒體中之任一者，諸如，硬碟機、藍光光碟、DVD、CD-ROM、快閃記憶體、揮發性或非揮發性記憶體，或用於儲存視訊資料之其他數位儲存媒體。儲存器件可對應於檔案伺服器或可儲存藉由源器件12產生之經編碼視訊的另一中間儲存器件。目的地器件14可經由串流傳輸或下載自儲存器件存取所儲存視訊資料。檔案伺服器可為能夠儲存經編碼視訊資料且將該經編碼視訊資料傳輸至目的地器件14的一類型之伺服器。實例檔案伺服器包括網頁伺服器(例如，用於網站)、FTP伺服器、網路附加儲存(NAS)器件或本端磁碟機。目的地器件14可經由標準資料連接(包括網際網路連接)而存取經編碼視訊資料。此資料連接可包括適合於存取儲存於檔案伺服器上之經編碼視訊資料的無線頻道(例如，Wi-Fi連接)、有線連接(例如，DSL、纜線數據機，等等)，或兩者之組合。經編碼視訊資料自儲存器件之傳輸可為串流傳輸、下載傳輸，或其組合。
本發明之技術可應用除無線應用或設定外的應用或設定。該等技術可應用於支援諸如以下應用的多種多媒體應用中之一者的視訊寫碼：空中電視廣播、有線電視傳輸、衛星電視傳輸、諸如HTTP動態自適應性串流(DASH)之網際網路串流視訊傳輸、經編碼至資料儲存媒體上之數位視訊、儲存於資料儲存媒體上之數位視訊之解碼，或其 他應用。在一些實施例中，系統10可經組態以支援單向或雙向視訊傳輸以支援諸如視訊串流傳輸、視訊播放、視訊廣播及/或視訊電話之應用。
在圖1中，源器件12包括視訊源18、視訊編碼器20及輸出介面22。目的地器件14包括輸入介面28、視訊解碼器30及顯示器件32。源器件12之視訊編碼器20可經組態以應用用於寫碼位元串流的技術，該位元串流包括符合多個標準或標準擴展的視訊資料。在其他實施例中，源器件及目的地器件可包括其他組件或配置。舉例而言，源器件12可自外部視訊源18(諸如，外部攝影機)接收視訊資料。同樣地，目的地器件14可與外部顯示器件介接，而非包括整合式顯示器件。
源器件12之視訊源18可包括諸如視訊攝影機之視訊捕捉器件、含有先前捕捉之視訊的視訊存檔，及/或自視訊內容提供者接收視訊之視訊饋入介面。視訊源18可產生基於電腦圖形之資料作為源視訊，或實況視訊、經封存視訊及電腦產生之視訊的組合。在一些實施例中，若視訊源18為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話。經捕捉、預先捕捉或電腦產生之視訊可由視訊編碼器20進行編碼。經編碼視訊資訊可由輸出介面22輸出至電腦可讀媒體16。
電腦可讀媒體16可包括暫態媒體，諸如，無線廣播或有線網路傳輸；或儲存媒體(例如，非暫態儲存媒體)，諸如，硬碟、隨身碟、緊密光碟、數位視訊光碟、藍光光碟或其他電腦可讀媒體。網路伺服器(圖中未示)可自源器件12接收經編碼視訊資料，且將該經編碼之視訊資料提供至目的地器件14(例如，經由網路傳輸)。媒體生產設施(諸如，光碟壓印設施)之計算器件可自源器件12接收經編碼視訊資料且產生含有該經編碼視訊資料之光碟。因此，可將電腦可讀媒體16理解成包括各種形式之一或多個電腦可讀媒體。
目的地器件14之輸入介面28可自電腦可讀媒體16接收資訊。電腦可讀媒體16之資訊可包括由視訊編碼器20定義的可由視訊解碼器30使用的語法資訊，該語法資訊包括描述區塊及其他經寫碼單元(例如，GOP)之特性及/或處理的語法元素。顯示器件32向使用者顯示經解碼視訊資料，且可包括多種顯示器件中之任一者，諸如，陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。
視訊編碼器20及視訊解碼器30可根據諸如目前在開發中的高效率視訊寫碼(HEVC)標準的視訊寫碼標準而操作，且可符合HEVC測試模型(HM)。替代性地，視訊編碼器20及視訊解碼器30可根據諸如替代地被稱作MPEG-4第10部分進階視訊寫碼(AVC)之ITU-T H.264標準的其他專屬或行業標準或者此等標準之擴展而操作。然而，本發明之技術不限於任何特定寫碼標準。視訊寫碼標準之其他實例包括MPEG-2及ITU-T H.263。儘管未展示於圖1中，但在一些態樣中，視訊編碼器20及視訊解碼器30可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或獨立資料串流中之音訊及視訊兩者的編碼。若適用，則MUX-DEMUX單元可符合ITU H.223多工器協定，或諸如使用者資料報協定(UDP)之其他協定。
視訊編碼器20及視訊解碼器30可各自實施為多種合適編碼器電路中之任一者，諸如一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體或其任何組合。當該等技術部分地以軟體實施時，一器件可將針對軟體之指令儲存於非暫態電腦可讀媒體中，且使用一或多個處理器來執行硬體中的該等指令以執行本發明之技術。視訊編碼器20及視訊解碼器30中之每一者可包括於一或多個編碼器或解碼器 中，其中任一者可整合為各別器件中之組合式編碼器/解碼器(編碼解碼器(CODEC))的部分。包括視訊編碼器20及/或視訊解碼器30之器件可包含積體電路、微處理器及/或無線通信器件(諸如，蜂巢式電話)。
JCT-VC正致力於HEVC標準之開發。HEVC標準化努力是基於視訊寫碼器件之被稱作HEVC測試模型(HM)的演進模型。HM假設視訊寫碼器件相對於根據(例如)ITU-T H.264/AVC之現有器件的若干額外能力。舉例而言，鑒於H.264提供九個框內預測編碼模式，HM可提供多達三十三個框內預測編碼模式。
一般而言，HM之工作模型描述，視訊圖框或圖像可劃分成包括明度樣本及色度樣本兩者之樹型區塊或最大寫碼單元(LCU)的序列。位元串流內之語法資料可定義LCU之大小，LCU就像素之數目而言為最大寫碼單元。截塊包括按寫碼次序之數個連續樹型區塊。可將視訊圖框或圖像分割成一或多個截塊。每一樹型區塊可根據四分樹而分裂成數個寫碼單元(CU)。一般而言，四分樹資料結構每CU包括一個節點，其中根節點對應於樹型區塊。若將CU分裂成四個子CU，則對應於該CU之節點包括四個葉節點，該四個葉節點中之每一者對應於該等子CU中的一者。
該四分樹資料結構中之每一節點可提供針對對應CU之語法資料。舉例而言，四分樹中之節點可包括分裂旗標，從而指示是否將對應於節點之CU分裂成子CU。可遞歸地定義針對CU之語法元素，且針對CU之語法元素可取決於CU是否分裂成子CU。若一CU未經進一步分裂，則其被稱作葉CU。在本發明中，即使不存在原始葉CU之顯式分裂，一葉CU之四個子CU亦將被稱作葉CU。舉例而言，若16×16大小之CU未經進一步分裂，則四個8×8子CU亦將被稱作葉CU，儘管16×16 CU從未經分裂。
除了CU不具有大小區別之外，CU之用途類似於H.264標準之巨 集區塊的用途。舉例而言，樹型區塊可分裂成四個子節點(亦被稱作子CU)，且每一子節點可又為父節點並分裂成另外四個子節點。被稱作四分樹之葉節點的最終未分裂子節點包含一寫碼節點，該寫碼節點亦被稱作葉CU。與經寫碼位元串流相關聯之語法資料可定義可分裂一樹型區塊之最大次數(其被稱作最大CU深度)，且亦可定義該等寫碼節點之最小大小。因此，位元串流亦可定義一最小寫碼單元(SCU)。 本發明使用術語「區塊」來係指HEVC之內容脈絡中之CU、PU或TU中的任一者，或其他標準之內容脈絡中之類似資料結構(例如，在H.264/AVC中之巨集區塊及其子區塊)。
CU包括一寫碼節點，及與該寫碼節點相關聯之預測單元(PU)及變換單元(TU)。CU之大小對應於寫碼節點之大小，且形狀必須為正方形。CU之大小的範圍可自8×8個像素直至具有最大64×64像素或大於64×64像素之樹型區塊的大小。每一CU可含有一或多個PU及一或多個TU。與CU相關聯之語法資料可描述(例如)CU至一或多個PU之分割。分割模式可視CU經跳過或直接模式編碼、經框內預測模式編碼抑或經框間預測模式編碼而不同。PU之形狀可分割成非正方形。與CU相關聯之語法資料亦可描述(例如)CU根據四分樹至一或多個TU的分割。TU之形狀可為正方形或非正方形(例如，矩形)。
HEVC標準允許根據TU之變換，該變換對於不同CU可不同。通常基於針對經分割LCU所定義之給定CU內之PU的大小而設定TU的大小，儘管可能並非總是如此狀況。TU大小通常與PU相同，或小於PU。在一些實例中，可使用稱為「殘餘四分樹」(RQT)之四分樹結構而將對應於CU之殘餘樣本再分為更小之單元。RQT之葉節點可被稱作變換單元(TU)。可變換與TU相關聯之像素差值以產生可經量化之變換係數。
葉CU可包括一或多個預測單元(PU)。一般而言，PU表示對應於 對應CU之全部或一部分的空間區域，且可包括用於擷取PU之參考樣本的資料。此外，PU包括與預測有關之資料。舉例而言，當PU經框內模式編碼時，用於PU之資料可包括於殘餘四分樹(RQT)中，殘餘四分樹可包括描述對應於PU的TU之框內預測模式的資料。作為另一實例，當PU經框間模式編碼時，PU可包括定義該PU之一或多個運動向量的資料。定義PU之運動向量的資料可描述(例如)運動向量之水平分量、運動向量之垂直分量、運動向量的解析度(例如，四分之一像素精度或八分之一像素精度)、運動向量所指向的參考圖像，及/或運動向量之參考圖像清單(例如，清單0、清單1或清單C)。
具有一或多個PU之葉CU亦可包括一或多個變換單元(TU)。可使用RQT(亦被稱作TU四分樹結構)指定變換單元，如上文所論述。舉例而言，分裂旗標可指示葉CU是否分裂成四個變換單元。接著，每一變換單元可進一步分裂成其他子TU。當TU不進一步分裂時，其可被稱作葉TU。通常，對於框內寫碼，屬於葉CU之所有葉TU共用相同框內預測模式。亦即，通常應用相同框內預測模式來計算一葉CU的所有TU之預測值。對於框內寫碼，視訊編碼器可將使用框內預測模式的每一葉TU之殘餘值計算為CU之對應於該TU的部分與原始區塊之間的差。TU未必限於PU之大小。因此，TU可能大於或小於PU。對於框內寫碼，一PU可與用於同一CU之一對應葉TU共置。在一些實例中，一葉TU之最大大小可對應於對應葉CU的大小。
此外，葉CU之TU亦可與被稱作殘餘四分樹(RQT)之各別四分樹資料結構相關聯。即，葉CU可包括指示如何將葉CU分割成TU的四分樹。TU四分樹之根節點通常對應於葉CU，而CU四分樹之根節點通常對應於樹型區塊(或LCU)。RQT之不分裂的TU被稱作葉TU。一般而言，除非另有指示，否則本發明分別使用術語CU及TU來係指葉CU及葉TU。
視訊序列通常包括一系列視訊圖框或圖像。圖像群組(GOP)通常包含一系列視訊圖像中的一或多者。GOP可在GOP之標頭、圖像中之一或多者之標頭中或在別處包括語法資料，該語法資料描述包括於GOP中之圖像的數目。圖像之每一截塊可包括描述該各別截塊之編碼模式的截塊語法資料。視訊編碼器20通常對個別視訊截塊內之視訊區塊進行操作，以便編碼視訊資料。視訊區塊可對應於CU內之寫碼節點。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小上不同。
作為一實例，HM支援以各種PU大小進行預測。假定特定CU之大小為2N×2N，則HM支援以2N×2N或N×N之PU大小進行框內預測，及以2N×2N、2N×N、N×2N或N×N之對稱PU大小進行框間預測。HM亦支援以2N×nU、2N×nD、nL×2N及nR×2N之PU大小進行框間預測的不對稱分割。在不對稱分割中，CU之一個方向未分割，而另一方向分割成25%與75%。CU之對應於25%分割的部分由「n」繼之以「上」、「下」、「左」或「右」之指示來指示。因此，例如，「2N×nU」係指在水平方向上以頂部2N×0.5N PU及底部2N×1.5N PU分割之2N×2N CU。
在本發明中，「N×N」與「N乘N」可互換地使用以係指視訊區塊在垂直尺寸與水平尺寸方面之像素尺寸，例如，16×16像素或16乘16像素。一般而言，16×16區塊在垂直方向上將具有16個像素(y=16)且在水平方向上將具有16個像素(x=16)。同樣，N×N區塊通常在垂直方向上具有N個像素，且在水平方向上具有N個像素，其中N表示非負整數值。可按列及行來配置區塊中之像素。此外，區塊未必需要在水平方向上具有與在垂直方向上相同的數目個像素。舉例而言，區塊可包含N×M個像素，其中M未必等於N。
在使用CU之PU的框內預測性或框間預測性寫碼之後，視訊編碼 器20可計算CU之TU的殘餘資料。PU可包含描述在空間域(亦稱作像素域)中產生預測性像素資料之方法或模式的語法資料，且TU可包含在將例如離散正弦變換(DST)、離散餘弦變換(DCT)、整數變換、小波變換或概念上類似之變換的變換應用至殘餘視訊資料之後變換域中的係數。殘餘資料可對應於未經編碼圖像之像素與對應於PU之預測值之間的像素差。視訊編碼器20可形成包括CU之殘餘資料的TU，且接著變換該等TU以產生CU之變換係數。
在任何變換以產生變換係數之後，視訊編碼器20可執行變換係數之量化。量化係意欲具有其最廣泛一般含義的廣義術語。在一個實施例中，量化係指如下程序：將變換係數量化以可能地減少用以表示該等係數之資料的量，從而提供進一步壓縮。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。舉例而言，可在量化期間將n位元值降值捨位至m位元值，其中n大於m。
在量化之後，視訊編碼器可掃描變換係數，從而自包括經量化之變換係數之二維矩陣產生一維向量。掃描可經設計成將較高能量(且因此較低頻率)係數置於陣列前部，且將較低能量(且因此較高頻率)係數置於陣列後部。在一些實例中，視訊編碼器20可利用預定義掃描次序來掃描經量化之變換係數，以產生可經熵編碼的串列化向量。在其他實例中，視訊編碼器20可執行自適應性掃描。在掃描經量化之變換係數以形成一維向量之後，視訊編碼器20可(例如)根據上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵編碼方法而熵編碼該一維向量。視訊編碼器20亦可熵編碼與經編碼視訊資料相關聯的語法元素以供視訊解碼器30用於解碼視訊資料中。
為了執行CABAC，視訊編碼器20可將上下文模型內之上下文指 派給待傳輸之符號。該上下文可能是關於(例如)符號之相鄰值是否為非零。為了執行CAVLC，視訊編碼器20可針對待傳輸之符號選擇一可變長度碼。VLC中之碼字可經建構，使得相對較短碼對應於更有可能的符號，而較長碼對應於較不可能的符號。以此方式，使用VLC可達成位元節省(與(例如)針對待傳輸之每一符號使用等長度碼字相比較)。機率判定可係基於指派給符號之上下文。
視訊編碼器20可進一步發送語法資料(諸如，基於區塊之語法資料、基於圖框之語法資料，及基於GOP之語法資料)至視訊解碼器30(例如，在圖框標頭、區塊標頭、截塊標頭或GOP標頭中)。GOP語法資料可描述各別GOP中的圖框之數目，且圖框語法資料可指示用以編碼對應圖框之編碼/預測模式。
視訊編碼器
圖2為說明可實施根據本發明中所描述之態樣之技術的視訊編碼器之實例的方塊圖。視訊編碼器20可經組態以執行本發明之技術中的任一者或全部，包括(但不限於)下文關於圖4更詳細地描述的使用時間縮放函數執行空間縮放的方法。作為一個實例，層間預測單元66(在提供時)可經組態以執行本發明中描述之技術中的任一者或全部。然而，本發明之態樣並不限於此。在一些實例中，本發明中所描述之技術可在視訊編碼器20之各種組件間經共用。在一些實例中，此外或替代地，處理器(圖中未示)可經組態以執行本發明中所描述之技術中的任一者或全部。
視訊編碼器20可執行視訊截塊內之視訊區塊的框內預測、框間預測及層間預測(有時稱作框內寫碼、框間寫碼或層間寫碼)。框內寫碼依賴於空間預測以減少或移除給定視訊圖框或圖像內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框或圖像內之視訊中的時間冗餘。層間寫碼依賴於同一視訊寫碼序列內之 不同層內的視訊之預測。框內模式(I模式)可係指若干基於空間之寫碼模式中的任一者。諸如單向預測(P模式)或雙向預測(B模式)的框間模式可係指若干基於時間之寫碼模式中的任一者。
如圖2中所示，視訊編碼器20接收視訊圖框內之待編碼的當前視訊區塊。在圖2之實例中，視訊編碼器20包括模式選擇單元40、參考圖框記憶體64、求和器50、變換處理單元52、量化單元54及熵編碼單元56。模式選擇單元40又包括運動補償單元44、運動估計單元42、框內預測單元46、層間預測單元66及分割單元48。
對於視訊區塊重建構，視訊編碼器20亦包括反量化單元58、反變換單元60及求和器62。解塊濾波器(圖2中未展示)亦可經包括以對區塊邊界進行濾波從而自經重建構之視訊移除方塊效應假影。若需要，則解區塊濾波器通常將對求和器62之輸出進行濾波。除解塊濾波器外，亦可使用額外濾波器(迴路內或迴路後)。為簡潔起見未展示此等濾波器，但此等濾波器在需要時可對求和器50之輸出進行濾波(作為迴路內濾波器)。
在該編碼程序期間，視訊編碼器20接收待寫碼之視訊圖框或截塊。可將該圖框或截塊劃分成多個視訊區塊。運動估計單元42及運動補償單元44相對於一或多個參考圖框中之一或多個區塊來執行經接收視訊區塊之框間預測性寫碼，以提供時間預測。框內預測單元46可替代性地執行接收到之視訊區塊相對於與待寫碼之區塊相同之圖框或截塊中的一或多個相鄰區塊的框內預測性寫碼以提供空間預測。視訊編碼器20可執行多個寫碼遍次(例如)以選擇針對視訊資料之每一區塊的適當寫碼模式。
此外，分割單元48可基於先前寫碼遍次中之先前分割方案之評估而將視訊資料之區塊分割成若干子區塊。舉例而言，分割單元48可最初將一圖框或截塊分割成LCU，且基於速率-失真分析(例如，速率- 失真最佳化等)來將該等LCU中之每一者分割成子CU。模式選擇單元40可進一步產生指示LCU至子CU之分割的四分樹資料結構。四分樹之葉節點CU可包括一或多個PU及一或多個TU。
模式選擇單元40可選擇寫碼模式(框內、框間或層間預測模式)中之一者(例如，基於錯誤結果)，且將所得的經框內、框間或層間寫碼之區塊提供至求和器50以產生殘餘區塊資料且提供至求和器62，以重建構經編碼區塊用作參考圖框。模式選擇單元40亦將語法元素(諸如運動向量、框內模式指示符、分割資訊及其他此語法資訊)提供至熵編碼單元56。
運動估計單元42及運動補償單元44可高度整合，但為概念目的而分離地說明。由運動估計單元42執行之運動估計為產生運動向量之程序，運動向量估計視訊區塊的運動。舉例而言，運動向量可指示在一當前視訊圖框或圖像內之一視訊區塊之一PU相對於在一參考圖框(或其他經寫碼單元)內的一預測性區塊的位移(該參考圖框係相對於該當前圖框(或其他經寫碼單元)內正經寫碼的當前區塊)。預測性區塊為被發現在像素差方面緊密地匹配於待寫碼區塊的區塊，該像素差可藉由絕對差總和(SAD)、平方差總和(SSD)或其他差量度予以判定。在一些實例中，視訊編碼器20可計算儲存於參考圖框記憶體64中之參考圖像之次整數像素位置的值。舉例而言，視訊編碼器20可內插參考圖像的四分之一像素位置、八分之一像素位置或其他分率像素位置之值。因此，運動估計單元42可執行相對於全像素位置及分率像素位置的運動搜尋，且以分率像素精度輸出運動向量。
運動估計單元42藉由比較框間寫碼截塊中之視訊區塊的PU之位置與參考圖像之預測性區塊之位置而計算該PU的運動向量。參考圖像可自第一參考圖像清單(清單0)或第二參考圖像清單(清單1)選擇，該等清單中之每一者識別儲存於參考圖框記憶體64中之一或多個參考 圖像。運動估計單元42將經計算運動向量發送至熵編碼單元56及運動補償單元44。
由運動補償單元44執行之運動補償可涉及到基於由運動估計單元42所判定之運動向量來提取或產生預測性區塊。在一些實例中，運動估計單元42及運動補償單元44可在功能上進行整合。在接收到當前視訊區塊之PU的運動向量時，運動補償單元44可將運動向量所指向的預測性區塊定位於參考圖像清單中的一者中。求和器50藉由自正被寫碼之當前視訊區塊的像素值減去預測性區塊之像素值來形成殘餘視訊區塊，從而形成像素差值，如下文所論述。在一些實施例中，運動估計單元42可相對於明度分量而執行運動估計，且運動補償單元44可將基於該等明度分量所計算之運動向量用於色度分量與明度分量兩者。模式選擇單元40可產生與視訊區塊及視訊截塊相關聯的語法元素以供視訊解碼器30用於解碼視訊截塊的視訊區塊。
作為由運動估計單元42及運動補償單元44執行之框間預測之替代例，框內預測單元46可框內預測或計算當前區塊，如上文所描述。詳言之，框內預測單元46可判定用來編碼當前區塊的框內預測模式。在一些實例中，框內預測單元46可(例如)在分離之編碼遍次期間使用各種框內預測模式來編碼當前區塊，且框內預測單元46(或在一些實例中，模式選擇單元40)可自所測試之模式選擇適當框內預測模式以使用。
舉例而言，框內預測單元46可使用對各種經測試之框內預測模式之速率-失真分析而計算速率-失真值，且在經測試之模式間選擇具有最佳速率-失真特性的框內預測模式。速率-失真分析通常判定經編碼區塊與原始未經編碼區塊之間的失真(或錯誤)量以及用以產生經編碼區塊之位元速率(即，位元數目)，該原始未經編碼區塊經編碼以產生經編碼區塊。框內預測單元46可自各種經編碼區塊之失真及速率計 算比率以判定哪一框內預測模式展現區塊之最佳速率-失真值。
在選擇區塊之框內預測模式之後，框內預測單元46可將指示區塊之所選擇框內預測模式的資訊提供至熵編碼單元56。熵編碼單元56可編碼指示所選擇框內預測模式之資訊。視訊編碼器20可在經傳輸之位元串流中包括組態資料，該組態資料可包括複數個框內預測模式索引表及複數個經修改之框內預測模式索引表(亦被稱作碼字映射表)、各種區塊之編碼上下文之定義及將用於該等上下文中之每一者之最有可能的框內預測模式、框內預測模式索引表及經修改之框內預測模式索引表的指示。
視訊編碼器20可包括層間預測單元66。層間預測單元66經組態以使用在SVC中可用之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中的當前區塊)。此預測可被稱作層間預測。層間預測單元66利用預測方法來減少層間冗餘，藉此改善寫碼效率並減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中共置區塊的重建構以預測增強層中的當前區塊。層間模式預測使用基礎層之運動資訊來預測增強層中的運動。層間殘餘預測使用基礎層之殘餘來預測增強層的殘餘。當基礎層與增強層具有不同空間解析度時，使用時間縮放函數的空間運動向量縮放及/或層間位置映射可藉由層間預測單元66來執行，如下文更詳細地描述。
視訊編碼器20藉由自正被寫碼之原始視訊區塊減去來自模式選擇單元40之預測資料而形成一殘餘視訊區塊。求和器50表示執行此減法運算之一或多個組件。變換處理單元52將諸如離散餘弦變換(DCT)或概念上類似之變換的變換應用於殘餘區塊，從而產生包含殘餘變換係數值的視訊區塊。變換處理單元52可執行概念上類似於DCT之其他變換。舉例而言，亦可使用離散正弦變換(DST)、小波變換、整數變 換、子頻帶變換或其他類型的變換。
變換處理單元52可將變換應用至殘餘區塊，從而產生殘餘變換係數區塊。該變換可將殘餘資訊自像素值域轉換至變換域(諸如，頻域)。變換處理單元52可將所得的變換係數發送至量化單元54。量化單元54量化該等變換係數以進一步減少位元率。該量化程序可減少與該等係數中之一些或全部相關聯的位元深度。可藉由調整量化參數而修改量化程度。在一些實例中，量化單元54可接著執行包括經量化之變換係數之矩陣的掃描。替代性地，熵編碼單元56可執行該掃描。
在量化之後，熵編碼單元56熵編碼經量化之變換係數。舉例而言，熵編碼單元56可執行上下文自適應性可變長度寫碼(CAVLC)、上下文自適應性二進位算術寫碼(CABAC)、基於語法之上下文自適應性二進位算術寫碼(SBAC)、機率區間分割熵(PIPE)寫碼或另一熵寫碼技術。在基於上下文之熵寫碼之狀況下，上下文可係基於相鄰區塊。在藉由熵編碼單元56進行熵寫碼之後，可將經編碼位元串流傳輸至另一器件(例如，視訊解碼器30)或經存檔以供稍後傳輸或擷取。
反量化單元58及反變換單元60分別應用反量化及反變換以在像素域中重建構殘餘區塊(例如，以供稍後用作參考區塊)。運動補償單元44可藉由將殘餘區塊加至參考圖框記憶體64之圖框中之一者之預測性區塊來計算參考區塊。運動補償單元44亦可將一或多個內插濾波器應用於經重建構之殘餘區塊以計算次整數像素值以供用於運動估計中。求和器62將經重建構之殘餘區塊加至由運動補償單元44產生之運動補償預測區塊，以產生經重建構之視訊區塊以供儲存於參考圖框記憶體64中。經重建構之視訊區塊可由運動估計單元42及運動補償單元44用作參考區塊以對後續視訊圖框中之區塊進行框間寫碼。
視訊解碼器
圖3為說明可實施根據本發明中所描述之態樣之技術的視訊解碼 器之實例的方塊圖。視訊解碼器30可經組態以執行本發明之技術中的任一者或全部，包括(但不限於)下文關於圖4更詳細地描述的使用時間縮放函數執行空間縮放的方法。作為一個實例，層間預測單元75可經組態以執行本發明中描述之技術中的任一者或全部。然而，本發明之態樣並不限於此。在一些實例中，本發明中所描述之技術可在視訊解碼器30之各種組件間經共用。在一些實例中，此外或替代地，處理器(圖中未示)可經組態以執行本發明中所描述之技術中的任一者或全部。
在圖3之實例中，視訊解碼器30包括熵解碼單元70、運動補償單元72、框內預測單元74、層間預測單元75、反量化單元76、反變換單元78、參考圖框記憶體82及求和器80。在一些實施例中，運動補償單元72及/或框內預測單元74可經組態以執行層間預測，在該狀況下，層間預測單元75可被省略。在一些實例中，視訊解碼器30可執行一解碼遍次，該解碼遍次大體上與關於視訊編碼器20(圖2)所描述之編碼遍次互逆。運動補償單元72可基於自熵解碼單元70接收之運動向量而產生預測資料，而框內預測單元74可基於自熵解碼單元70接收之框內預測模式指示符而產生預測資料。
在解碼程序期間，視訊解碼器30自視訊編碼器20接收經編碼之視訊位元串流，該視訊位元串流表示經編碼視訊截塊之視訊區塊及關聯語法元素。視訊解碼器30之熵解碼單元70熵解碼位元串流以產生經量化之係數、運動向量或框內預測模式指示符及其他語法元素。熵解碼單元70將運動向量及其他語法元素轉遞至運動補償單元72。視訊解碼器30可以視訊截塊層級及/或視訊區塊層級接收語法要素。
當視訊截塊經寫碼為框內寫碼(I)截塊時，框內預測單元74可基於經發信之框內預測模式及來自當前圖框或圖像之先前經解碼區塊的資料而產生當前視訊截塊之視訊區塊的預測資料。當視訊圖框寫碼為 框間寫碼(例如，B、P或GPB)截塊時，運動補償單元72基於接收自熵解碼單元70之運動向量及其他語法元素而產生當前視訊截塊之視訊區塊的預測性區塊。可自參考圖像清單中之一者內的參考圖像中之一者產生預測性區塊。視訊解碼器30可基於儲存於參考圖框記憶體92中之參考圖像而使用預設建構技術來建構參考圖框清單(清單0及清單1)。 運動補償單元72藉由剖析運動向量及其他語法元素而判定當前視訊截塊之視訊區塊的預測資訊，且使用該預測資訊以產生正經解碼之當前視訊區塊的預測性區塊。舉例而言，運動補償單元72使用一些所接收之語法元素以判定用以寫碼視訊截塊之視訊區塊的預測模式(例如，框內預測或框間預測)、框間預測截塊類型(例如，B截塊、P截塊或GPB截塊)、截塊之參考圖像清單中之一或多者的建構資訊、截塊之每一框間編碼視訊區塊的運動向量、截塊之每一框間寫碼視訊區塊的框間預測狀態，及用以解碼當前視訊截塊中之視訊區塊的其他資訊。
運動補償單元72亦可基於內插濾波器執行內插。運動補償單元72可使用如由視訊編碼器20在視訊區塊之編碼期間使用的內插濾波器，以計算參考區塊之次整數像素的內插值。在此狀況下，運動補償單元72可自所接收之語法元素判定由視訊編碼器20使用的內插濾波器，且使用該等內插濾波器來產生預測性區塊。
視訊解碼器30亦可包括層間預測單元75。層間預測單元75經組態以使用在SVC中可用之一或多個不同層(例如，基礎層或參考層)來預測當前區塊(例如，EL中的當前區塊)。此預測可被稱作層間預測。層間預測單元75利用預測方法來減少層間冗餘，藉此改善寫碼效率並減少計算資源要求。層間預測之一些實例包括層間框內預測、層間運動預測及層間殘餘預測。層間框內預測使用基礎層中共置區塊的重建構以預測增強層中的當前區塊。層間模式預測使用基礎層之運動資訊來預測增強層中的運動。層間殘餘預測使用基礎層之殘餘來預測增強 層的殘餘。當基礎層與增強層具有不同空間解析度時，空間運動向量縮放及/或層間位置映射可使用時間縮放函數藉由層間預測單元75來執行，如下文更詳細地描述。
反量化單元76反量化(例如，解量化)提供於位元串流中且由熵解碼單元70解碼的經量化變化係數。反量化程序可包括使用視訊截塊中每一視訊區塊的藉由視訊解碼器30計算之量化參數QPY來判定應應用之量化程度且同樣反量化程度。
反變換單元78將反變換(例如，反DCT、反DST、反整數變換或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。
在運動補償單元72基於運動向量及其他語法元素產生當前視訊區塊之預測性區塊之後，視訊解碼器30藉由對來自反變換單元78之殘餘區塊與由運動補償單元72產生的對應預測性區塊求和而形成經解碼視訊區塊。求和器90表示執行此求和運算之(多個)組件。若需要，亦可應用解區塊濾波器來對經解碼區塊濾波以便移除方塊效應假影。其他迴路濾波器(寫碼迴路內或寫碼迴路後)亦可用以使像素轉變平滑，或以其他方式改善視訊品質。接著將給定圖框或圖像中之經解碼視訊區塊儲存於參考圖像記憶體92中，參考圖像記憶體92儲存用於後續運動補償之參考圖像。參考圖框記憶體82亦儲存經解碼視訊以用於稍後在顯示器件(諸如，圖1之顯示器件32)上呈現。
運動向量縮放
如上文所論述，在一些實施例中，作為編碼或解碼程序之部分縮放運動向量。舉例而言，來自具有不同於當前區塊之層之空間解析度的層之運動向量在用以編碼或解碼當前區塊之前可經縮放。在一個實施例中，處理器經組態以實施運動向量縮放方法。該方法之第一步驟可為改變上文論述之輸入參數iScaleBase為：
使用增強層高度值與基礎層高度值之比率判定的iScaleBase提供優於使用增強層寬度值與基礎層寬度值之比率的優點，此是因為高度值通常小於寬度。
作為輸入參數計算之方法的另一實施例，偏移可被添加至等式如下： 其中偏移可為對應於0.5捨位偏移值的blW/2。在提供捨位偏移之另一實施例中，輸入參數可為：
如上文所論述，此等輸入參數可用作對在HEVC標準下已存在之TMVP時間縮放函數的輸入以執行空間縮放。將現有TMVP時間縮放函數用於執行空間縮放提供允許空間縮放而不將新的特定縮放函數引入至HEVC標準或其擴展(諸如，SHVC擴展)的優點。
水平方向及垂直方向的縮放性比率
若所要的是縮放性比率在水平方向與垂直方向上應不同，則上文所描述之方法可藉由分別引入兩個縮放參數iScaleBaseX及iScaleBaseY用於水平方向及垂直方向來擴展。在一個實施例中： 其中縮放因數N可為整數，諸如256。在另一實例中，可將偏移添加至每一縮放參數的分子。
在此實施例中，TMVP縮放函數將具有兩個輸入參數iScaleBaseX及iScaleBaseY，且TMVP縮放方法可獨立地應用於每一運動向量分 量。舉例而言，TMVP函數可被調用兩次；第一次使用iScaleBaseX作為輸入，且第二次使用iScaleBaseY作為輸入。
此外，下文依據一個縮放性比率描述的所有方法及技術可類似地獨立應用至水平及垂直縮放性比率。舉例而言，類似方法可針對下文描述之位置映射而執行，其中可引入兩個縮放參數(例如，一個縮放參數用於水平方向，且一個縮放參數用於垂直方向)。對於水平參數計算，使用elW及blW，且對於垂直參數計算，使用elH及blH。
除法之資料範圍減少
在一些實施例中，為了減少計算、頻寬及/或記憶體成本，iScaleBase參數之除法運算藉由將除數約束於某(例如，預定)範圍內而受到限制。如此做，除法運算可藉由較小大小的查找表來實施。
基礎層寬度或高度及增強層寬度或高度的值經減少，使得基礎層寬度將在(0,blMax)之範圍內，其中blMax為最大可能基礎層寬度值，且其可連接至該大小的查找表。此值愈小，則可使用之查找表愈小。查找表大小與準確度之間的最佳臨限值可藉由改變blMax值來找到。
對於給定數字blMax，移位之數目(或2之冪的除數)針對基礎層寬度或高度進行計算，以使得值在(0,blMax)之範圍內。在一個實施例中，移位數目被稱作N，且基礎層之對應除數為2N。二的冪可用以簡化實施，此是由於除以二的運算可由位元移位來執行。然而，在其他實施例中，值可為小於基礎層寬度或高度的任何數字。
接著，基礎層及增強層向右移位N以保持相同縮放性比率。最終輸入參數計算可表達為：iScaleBase=((elW>>N)<<8)/(blW>>N)。
變體公式可用以減少捨位錯誤：iScaleBase=((elW<<8)>>N)/(blW>>N)， 其中(blW>>N)係在範圍(0,blMax)內，從而具有上限值，且向左移位8用以使TMVP縮放函數的輸入參數正規化(例如，1之縮放對應於256)。
此外，捨位偏移可經添加至以上公式。舉例而言，可添加偏移為：iScaleBase=(((elW>>N)+offset))<<8)/(blW>>N)，其中偏移可為對應於0.5捨位偏移值的(blW>>(N+1))。捨位偏移之另一變體可為(blW>>(N+1))-1，其中使用朝向零的捨位。
以下變體針對elW之減少之資料範圍可用以減少捨位錯誤：iScaleBase=(((elW<<8)>>N)+offset))/(blW>>N)。
類似地，偏移可設定為(blW>>(N+1))，從而對應於0.5捨位偏移值，或(blW>>(N+1))-1從而對應於朝向零的捨位。所有以上等式中的變數blW及elW皆可由blH及elH替換。
C++實施
C++實施之一個實例如下：
其中iBWidth為基礎層寬度，iEWidth為增強層寬度。儘管此實施 例省略捨位偏移，但可包括捨位偏移，如上文所論述。
避免除法運算
為了自除法運算至查找表存取函數之更容易轉換，輸入參數計算可實施如下：
在另一實施例中，添加偏移：
其中偏移可設定為如上文所論述的blW/2或。在另一實施 例中：
其中K為預定恆定值(例如，K之一個實例值為16)。藉由此表達 式，除法可易於被查找表替換。
上文所描述之方法可又應用至此「避免除法運算」章節的方法。舉例而言，在一個實施例中，blW被向右移位N個位元，使得(blW>>N)之經移位值係在預定範圍(0,blMax)內。(2^K/(blW>>N))之值儲存於針對範圍(0,blMax)內之(blW>>N)的查找表中。
計算可經執行為：
在另一實施例中：
其中偏移可設定為如上文所提及的(blW>>(N+1)或((blW>>(N+1)-1)。
如上文所提及，所有以上等式中的變數blW及elW可被blH及elH替換。
層間位置映射的改善
簡化除法運算可應用至使用根據縮放性縱橫比之除法的其他元件。舉例而言，可能亦有必要的是，除以基礎層寬度或高度以在基礎層圖像中定位共置像素位置。在此狀況下，上文所論述且用以縮放運動向量的相同技術或方法可經應用以計算共置像素或共置區塊在基礎層中的位置。
如上文所提及，像素(或區塊)在基礎層中的x及y座標(blx,bly)可表達為：
其中x及y對應於像素在增強層中的座標，且blW、elW、blH及elH分別對應於基礎層寬度及高度以及增強層寬度及高度。以上等式可經修改如下：blx=(x * iScaleBase'+offset1)>>M
其中iScaleBase'可計算為
bly=(y * iScaleBase'+offset1)>>M
上文所提及之所有方法可應用至以上等式以減少除以elW之運算的成本。又，上文所描述之偏移中的任一者可經應用以界定以上offset1。
查找表實施
在另一實施例中，除法運算藉由用查找表替換除法運算而被移除，該查找表係基於基礎層及增強層之寬度及/或高度的範圍減少之值。
在一個實施例中，基礎層及增強層之寬度及/或高度的值經減少以確保其將分別在(0,blMax)與(0,elMax)的範圍內。blMax為最大可能 基礎層寬度及/或高度值，且elMax為最大可能增強層寬度及/或高度值。blMax及elMax兩者可連接至或是關於查找表的大小。此等值愈小，則可使用之查找表愈小。
此方法提供計算複雜性與縮放之準確度之間的取捨。查找表大小與準確度之間的最佳臨限值可藉由改變blMax及elMax值來找到。
對於給定數字blMax，移位之數目(或2之冪的除數)針對基礎層及/或寬度或高度進行計算，以使得值分別在(0,blMax)及/或(0,elMax)的範圍內。舉例而言，移位數目可表示為Nb，且基礎層之對應除數將為2Nb。相同技術及方法可又應用至增強層。2之冪可歸因於易於運算而被選定，此是由於除法可由移位來執行；然而，在其他實施例中，除數可為小於基礎層寬度或高度的任何數字。
基礎層及增強層隨後向右移位Nb及Ne，以維持相同縮放性比率。最終輸入參數計算可表達為：iScaleBase=LookUpTable[(iEWidth>>Ne)][(iBWidth>>Nb)]。
LookUpTable函數可基於捨位準確度、速率失真成本等以許多方式來實施。此外，所有以上等式中的變數iEWidth及iBWidth可被iEHeight及iBHeight替換。
圖4說明使用時間縮放函數執行空間縮放之方法的一個實施例，該方法可藉由圖2之視訊編碼器20或圖3的視訊解碼器30來執行。方法400可藉由以下各者中之任何一或多者來執行：圖2之視訊編碼器20的運動估計單元42、運動補償單元44、框內預測單元46及層間預測單元66。在另一實施例中，方法400可藉由以下各者中之任何一或多者來執行：圖3之解碼器的運動補償單元72、框內預測單元74，及層間預測單元75。
方法400以區塊410開始。在區塊420處，判定基礎層(BL)及增強層(EL)空間尺寸值。舉例而言，在區塊420處，可判定基礎層圖像之 寬度及增強層圖像的寬度。在另一實施例中，在區塊420處，判定基礎層圖像之高度及增強層圖像的高度。在另一實施例中，尺寸在BL及EL兩者中為相同尺寸。
在區塊430處，基於BL及EL空間尺寸值來判定縮放因數，使得縮放因數受約束於預定範圍內。舉例而言，BL尺寸值可經約束以在(0,blMax)之範圍內，如上文所論述；且EL尺寸值可經約束以在(0,elMax)範圍內，如上文所論述。在一個實施例中，縮放因數藉由使EL與BL尺寸值之比率乘以第一值且使該乘積除以第二值而受到約束。在一個實施例中，第二值為2的冪，使得除法可藉由向右移位運算來執行。縮放因數受到約束，使得縮放因數可與預先存在之運動向量縮放程序或函數(諸如，HEVC規範提供之TMVP縮放程序)一起使用。在一個實施例中，縮放因數藉由使用截割函數受到約束。
在區塊440處，使用時間縮放函數及縮放因數來空間縮放與EL或BL相關聯之元素。舉例而言，在一個實施例中，元件對應於與BL中之視訊區塊相關聯的運動向量。在另一實施例中，元素對應於BL中像素或視訊區塊的空間方位(或位置)。方法400繼續至區塊450且結束。
雖然以上揭示內容已描述了特定實施例，但許多變化為可能的。舉例而言，如上文所提及，以上技術可應用至3D視訊編碼。在3D視訊之一些實施例中，參考層(例如，基礎層)包括足以顯示視訊之第一視圖的視訊資訊，且增強層包括相對於參考層之額外視訊資訊，使得參考層及增強層一起包括足以顯示視訊之第二視圖的視訊資訊。此等兩個視圖用以產生立體影像。如上文所論述，根據本發明之態樣，來自參考層之運動資訊可用以在編碼或解碼增強層中之視訊單元時識別額外隱含假定。此情形可提供3D視訊位元串流之更大寫碼效率。
應認識到，取決於實例，本文中所描述之技術中之任一者的某些動作或事件可以一不同序列執行、可經添加、合併或完全省略(例如，對於實踐該等技術而言並非所有所描述之動作或事件皆係必要的)。此外，在某些實例中，可(例如)經由多執行緒處理、中斷處理或多個處理器並行而非順序地執行動作或事件。
本文中所揭示之資訊及信號可使用多種不同技藝及技術中的任一者來表示。舉例而言，可由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示可貫穿以上描述內容所提及之資料、指令、命令、資訊、信號、位元、符號及碼片。
可將結合本文中所揭示之實施例而描述之各種說明性邏輯區塊、模組、電路及演算法步驟實施為電子硬體、電腦軟體或兩者之組合。為了清楚地說明硬體與軟體之此可互換性，上文已大體在功能性方面描述了各種說明性組件、區塊、模組、電路及步驟。此功能性實施為硬體抑或軟體取決於特定應用及強加於整個系統之設計約束。熟習此項技術者可針對每一特定應用以變化之方式實施所描述之功能性，但不應將該等實施決策解譯為導致偏離本發明之範疇。
本文中所描述之技術可以硬體、軟體、韌體或其任一組合來實施。此等技術可實施於諸如以下各者之多種器件中的任一者中：通用電腦、無線通信器件手機，或具有多個用途(包括無線通信器件手機及其他器件中之應用程式)的積體電路器件。描述為模組或組件之任何特徵可一起實施於整合邏輯器件中或獨立地實施為離散但可共同操作的邏輯器件。若以軟體來實施，則可至少部分由包含程式碼之一電腦可讀資料儲存媒體實現該等技術，該程式碼包括在執行時執行上文所描述方法中之一或多者的指令。電腦可讀取資料儲存媒體可形成電腦程式產品之部分，該電腦程式產品可包括包裝材料。電腦可讀媒體可包含記憶體或資料儲存媒體，諸如隨機存取記憶體(RAM)(諸如， 同步動態隨機存取記憶體(SDRAM))、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、磁性或光學資料儲存媒體及其類似者。另外或替代地，可至少部分藉由電腦可讀通信媒體(諸如，所傳播之信號或波)來實現該等技術，該電腦可讀通信媒體攜載或傳達呈指令或資料結構之形式的程式碼且可由電腦來存取、讀取及/或執行。
可由處理器來執行程式碼，該處理器可包括一或多個處理器，諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效整合或離散邏輯電路。此處理器可經組態以執行本發明中所描述之技術中的任一者。通用處理器可為微處理器，但在替代例中，處理器可為任何習知處理器、控制器、微控制器或狀態機。處理器亦可實施為計算器件之組合，例如，DSP與微處理器之組合、複數個微處理器、結合DSP核心之一或多個微處理器，或任一其他此組態。因此，如本文中所使用之術語「處理器」可係指前述結構中之任一者、前述結構之任何組合，或適於實施本文中所描述之技術的任何其他結構中或裝置。此外，在一些態樣中，可將本文中所描述之功能性提供於經組態以用於編碼及解碼之專用軟體模組或硬體模組內，或併入於組合式視訊編碼器-解碼器(CODEC)中。
已描述了本發明之各種實施例。此等及其他實施例係在以下【申請專利範圍】之範疇內。
400‧‧‧方法

Claims (51)

  1. 一種用於對視訊資訊寫碼之裝置，該裝置包含：一記憶體單元，其經組態以儲存與一基礎層(BL)、一增強層(EL)或兩者相關聯之視訊資訊，其中該BL包含具有一第一BL空間尺寸值及一第二BL空間尺寸值之一或多個BL圖像，且該EL包含具有一第一EL空間尺寸值及一第二EL空間尺寸值之一或多個EL圖像；及一處理器，其可操作地耦接至該記憶體單元且經組態以：基於該第一BL空間尺寸值及該第一EL空間尺寸值判定(i)一第一縮放因數及基於該第二BL空間尺寸值及該第二EL空間尺寸值判定(ii)一第二縮放因數，其中該第一縮放因數不同於該第二縮放因數；使用該經判定之第一縮放因數作為對一縮放函數之一輸入以空間上(spatially)縮放與該BL相關聯之一元素之一第一組件，其中該縮放函數經組態以時間上(temporally)縮放運動向量以產生時間運動向量預測子(TMVPs)；及使用該經判定之第二縮放因數作為對該縮放函數之一輸入以空間上縮放與該BL相關聯之該元素之一第二組件。
  2. 如請求項1之裝置，其中該第一及該第二BL空間尺寸值分別地包含一BL寬度及一BL高度，且該第一及該第二EL空間尺寸值分別地包含一EL寬度及一EL高度。
  3. 如請求項1之裝置，其中該第一縮放因數包含(a)該第一EL空間尺寸值對該第一BL空間尺寸值之一比率與(b)一第一預定值之一乘積，且該第二縮放因數包含(a)該第二EL空間尺寸值對該第二BL空間尺寸值之一比率與(b)該第一預定值之一乘積。
  4. 如請求項3之裝置，其中該第一預定值為256。
  5. 如請求項1之裝置，其中該第一EL空間尺寸值包含(a)一EL寬度尺寸值乘以一預定值與(b)一偏移值的總和，且其中該第一BL空間尺寸值包含一BL寬度尺寸值。
  6. 如請求項5之裝置，其中該偏移值為該BL寬度尺寸值的一半。
  7. 如請求項5之裝置，其中該偏移值為小於該BL寬度尺寸值之一半的一值。
  8. 如請求項1之裝置，其中該第一EL空間尺寸值及該第一BL空間尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  9. 如請求項1之裝置，其中該處理器經進一步組態以使用該元素之該經空間縮放之第一及第二組件以在一位元串流中編碼該視訊資訊。
  10. 如請求項1之裝置，其中該處理器經進一步組態以使用該元素之該經空間縮放之第一及第二組件以在一位元串流中解碼該視訊資訊。
  11. 如請求項1之裝置，其中該元素包含一運動向量。
  12. 如請求項1之裝置，其中該元素包含一像素或視訊區塊的一空間位置。
  13. 如請求項1之裝置，其中該裝置係選自由以下各者組成之群組的一器件：一數位電視、一數位直播系統、一無線廣播系統、一個人數位助理(PDA)、一膝上型電腦、一桌上型電腦、一平板電腦、一電子書閱讀器、一數位攝影機、一數位記錄器件、一數位媒體播放器、一視訊遊戲器件、一視訊遊戲機、一蜂巢式電話、一衛星無線電電話、一智慧型電話、一視訊電話會議器件，及一視訊串流傳輸器件。
  14. 如請求項1之裝置，其中該處理器經進一步組態以在不執行一除 法運算的情況下判定該第一及該第二縮放因數。
  15. 如請求項1之裝置，其中該處理器經進一步組態以藉由使用用於與該第一及該第二縮放因數相關聯之每一除法運算之一查找表來判定該第一及該第二縮放因數。
  16. 如請求項1之裝置，其中該第二BL空間尺寸值及該第二EL空間尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  17. 如請求項16之裝置，其中該第二BL空間尺寸值係該一或多個BL圖像之一高度且該第二EL空間尺寸值係該一或多個EL圖像之一高度。
  18. 一種解碼視訊資訊之方法，該方法包含：藉由耦接至經組態以儲存與一基礎層(BL)、一增強層(EL)或兩者相關聯之視訊資訊的一記憶體單元的一處理器，其中該BL包含具有一第一BL空間尺寸值及一第二BL空間尺寸值之一或多個BL圖像，且該EL包含具有一第一EL空間尺寸值及一第二EL空間尺寸值之一或多個EL圖像，基於該第一BL空間尺寸值及該第一EL空間尺寸值判定(i)一第一縮放因數及基於該第二BL空間尺寸值及該第二EL空間尺寸值判定(ii)一第二縮放因數，其中該第一縮放因數不同於該第二縮放因數；使用該經判定之第一縮放因數作為對一縮放函數之一輸入以空間上縮放與該BL相關聯之一元素之一第一組件，其中該縮放函數經組態以時間上縮放運動向量以產生時間運動向量預測子(TMVPs)；及使用該經判定之第二縮放因數作為對該縮放函數之一輸入以空間上縮放與該BL相關聯之該元素之一第二組件；及使用該元素之該經空間縮放之第一及第二組件以解碼該視 訊資訊。
  19. 如請求項18之方法，其中該第一及該第二BL空間尺寸值分別地包含一BL寬度及一BL高度，且該第一及該第二EL空間尺寸值分別地包含一EL寬度及一EL高度。
  20. 如請求項18之方法，其中該第一縮放因數包含(a)該第一EL空間尺寸值對該第一BL空間尺寸值之一比率與(b)一第一預定值之一乘積，且該第二縮放因數包含(a)該第二EL空間尺寸值對該第二BL空間尺寸值之一比率與(b)該第一預定值之一乘積。
  21. 如請求項20之方法，其中該第一預定值為256。
  22. 如請求項18之方法，其中該第一EL空間尺寸值包含(a)一EL寬度尺寸值乘以一預定值與(b)一偏移值的總和，且其中該第一BL空間尺寸值包含一BL寬度尺寸值。
  23. 如請求項22之方法，其中該偏移值為該BL寬度尺寸值的一半。
  24. 如請求項22之方法，其中該偏移值為小於該BL寬度尺寸值之一半的一值。
  25. 如請求項18之方法，其中該第一EL空間尺寸值及該第一BL空間尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  26. 如請求項18之方法，其中該元素包含一運動向量。
  27. 如請求項18之方法，其中該元素包含一像素或視訊區塊的一空間位置。
  28. 如請求項18之方法，其中判定該第一及該第二縮放因數包含在不執行一除法運算的情況下判定該第一及該第二縮放因數。
  29. 如請求項18之方法，其中判定該第一及該第二縮放因數包含使用用於與該第一及該第二縮放因數相關聯之每一除法運算之一查找表判定該第一及該第二縮放因數。
  30. 如請求項18之方法，其中該第二BL空間尺寸值及該第二EL空間 尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  31. 如請求項30之方法，其中該第二BL空間尺寸值係該一或多個BL圖像之一高度且該第二EL空間尺寸值係該一或多個EL圖像之一高度。
  32. 一種編碼視訊資訊之方法，該方法包含：藉由耦接至經組態以儲存與一基礎層(BL)、一增強層(EL)或兩者相關聯之視訊資訊的一記憶體單元的一處理器，其中該BL包含具有一第一BL空間尺寸值及一第二BL空間尺寸值之一或多個BL圖像，且該EL包含具有一第一EL空間尺寸值及一第二EL空間尺寸值之一或多個EL圖像，基於該第一BL空間尺寸值及該第一EL空間尺寸值判定(i)一縮放第一因數及基於該第二BL空間尺寸值及該第二EL空間尺寸值判定(ii)一第二縮放因數，其中該第一縮放因數不同於該第二縮放因數；使用該經判定之第一縮放因數作為對一縮放函數之一輸入以空間上縮放與該BL相關聯之一元素之一第一組件，其中該縮放函數經組態以時間上縮放運動向量以產生時間運動向量預測子(TMVPs)；使用該經判定之第二縮放因數作為對該縮放函數之一輸入以空間上縮放與該BL相關聯之該元素之一第二組件；及使用該元素之該經空間縮放之第一及第二組件以編碼該視訊資訊。
  33. 如請求項32之方法，其中該第一及該第二BL空間尺寸值分別地包含一BL寬度及一BL高度，且該第一及該第二EL空間尺寸值分別地包含一EL寬度及一EL高度。
  34. 如請求項32之方法，其中該第一縮放因數包含(a)該第一EL空間 尺寸值對該第一BL空間尺寸值之一比率與(b)一第一預定值之一乘積，且該第二縮放因數包含(a)該第二EL空間尺寸值對該第二BL空間尺寸值之一比率與(b)該第一預定值之一乘積。
  35. 如請求項34之方法，其中該第一預定值為256。
  36. 如請求項32之方法，其中該第一EL空間尺寸值包含(a)一EL寬度尺寸值乘以一預定值與(b)一偏移值的總和，且其中該第一BL空間尺寸值包含一BL寬度尺寸值。
  37. 如請求項36之方法，其中該偏移值為該BL寬度尺寸值的一半。
  38. 如請求項36之方法，其中該偏移值為小於該BL寬度尺寸值之一半的一值。
  39. 如請求項32之方法，其中該第一EL空間尺寸值及該第一BL空間尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  40. 如請求項32之方法，其中該元素包含一運動向量。
  41. 如請求項32之方法，其中該元素包含一像素或視訊區塊的一空間位置。
  42. 如請求項32之方法，其中判定該第一及該第二縮放因數包含在不執行一除法運算的情況下判定該第一及該第二縮放因數。
  43. 如請求項32之方法，其中判定該第一及該第二縮放因數包含藉由使用用於與該第一及該第二縮放因數相關聯之每一除法運算之一查找表來判定該第一及該第二縮放因數。
  44. 如請求項32之方法，其中該第二BL空間尺寸值及該第二EL空間尺寸值在自0至該BL之一最大寬度尺寸值之一範圍內。
  45. 如請求項44之方法，其中該第二BL空間尺寸值係該一或多個BL圖像之一高度且該第二EL空間尺寸值係該一或多個EL圖像之一高度。
  46. 一種包含指令之非暫態電腦可讀媒體，該等指令在執行時使得 一裝置：基於一第一基礎層(BL)空間尺寸值及一第一增強層(EL)空間尺寸值判定(i)一第一縮放因數及基於一第二BL空間尺寸值及一第二EL空間尺寸值判定(ii)一第二縮放因數，其中該第一縮放因數不同於該第二縮放因數；使用該經判定之第一縮放因數作為對一縮放函數之一輸入以空間上縮放與該BL相關聯之一元素之一第一組件，其中該縮放函數經組態以時間上縮放運動向量以產生時間運動向量預測子(TMVPs)；使用該經判定之第二縮放因數作為對該縮放函數之一輸入以空間上縮放與該BL相關聯之該元素之一第二組件；使用該元素之該經空間縮放之第一及第二組件以寫碼該視訊資訊。
  47. 如請求項46之媒體，其中該第一縮放因數包含(a)該第一EL空間尺寸值對該第一BL空間尺寸值之一比率與(b)一第一預定值之一乘積，且該第二縮放因數包含(a)該第二EL空間尺寸值對該第二BL空間尺寸值之一比率與(b)該第一預定值之一乘積。
  48. 如請求項46之媒體，其中該等指令使得該裝置在不執行一除法運算的情況下判定該第一及該第二縮放因數。
  49. 一種經組態以對視訊資訊寫碼之裝置，該裝置包含：用於基於一第一基礎層(BL)空間尺寸值及一第一增強層(EL)空間尺寸值判定(i)一第一縮放因數及基於一第二BL空間尺寸值及一第二EL空間尺寸值判定(ii)一第二縮放因數的構件，其中該第一縮放因數不同於該第二縮放因數；用於使用該經判定之第一縮放因數作為對一縮放函數之一輸入以空間上縮放與該BL相關聯之一元素之一第一組件的構件， 其中該縮放函數經組態以時間上縮放運動向量以產生時間運動向量預測子(TMVPs)；及用於使用該經判定之第二縮放因數作為對該縮放函數之一輸入以空間上縮放與該BL相關聯之該元素之一第二組件的構件；及用於使用該元素之該經空間縮放之該第一及第二組件以寫碼該視訊資訊的構件。
  50. 如請求項49之裝置，其中該第一縮放因數包含(a)該第一EL空間尺寸值對該第一BL空間尺寸值之一比率與(b)一第一預定值之一乘積，且該第二縮放因數包含(a)該第二EL空間尺寸值對該第二BL空間尺寸值之一比率與(b)該第一預定值之一乘積。
  51. 如請求項49之裝置，其中用於判定該第一縮放因數的該構件包含用於在不執行一除法運算的情況下判定該第一縮放因數的構件，且用於判定該第二縮放因數的該構件包含用於在不執行一除法運算的情況下判定該第二縮放因數的構件。
TW103107143A 2013-03-01 2014-03-03 用於可縮放視訊寫碼之空間運動向量縮放 TWI543590B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361771742P 2013-03-01 2013-03-01
US201361774516P 2013-03-07 2013-03-07
US14/191,311 US9743097B2 (en) 2013-03-01 2014-02-26 Spatial motion vector scaling for scalable video coding

Publications (2)

Publication Number Publication Date
TW201448573A TW201448573A (zh) 2014-12-16
TWI543590B true TWI543590B (zh) 2016-07-21

Family

ID=51420941

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103107143A TWI543590B (zh) 2013-03-01 2014-03-03 用於可縮放視訊寫碼之空間運動向量縮放

Country Status (10)

Country Link
US (1) US9743097B2 (zh)
EP (1) EP2962463B1 (zh)
JP (1) JP6466349B2 (zh)
KR (1) KR102276276B1 (zh)
CN (1) CN105103553B (zh)
BR (1) BR112015020968B1 (zh)
ES (1) ES2769837T3 (zh)
HU (1) HUE046809T2 (zh)
TW (1) TWI543590B (zh)
WO (1) WO2014134334A2 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
GB2512829B (en) * 2013-04-05 2015-05-27 Canon Kk Method and apparatus for encoding or decoding an image with inter layer motion information prediction according to motion information compression scheme
KR20170059718A (ko) * 2015-11-23 2017-05-31 삼성전자주식회사 디코딩 장치 및 그 방법
CN106850123B (zh) * 2015-11-30 2020-02-21 上海诺基亚贝尔股份有限公司 在无线通信系统中用于层映射和解层映射的方法和装置
CN116260974B (zh) * 2023-05-04 2023-08-08 杭州雄迈集成电路技术股份有限公司 一种视频缩放方法和系统、计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100392379B1 (ko) * 1997-07-09 2003-11-28 주식회사 팬택앤큐리텔 아래층과현재층의모드를이용한신축형이진영상부호화/복호화방법및장치
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US7929610B2 (en) 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
KR100587561B1 (ko) * 2004-04-08 2006-06-08 삼성전자주식회사 모션 스케일러빌리티를 구현하는 방법 및 장치
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
CN101662683B (zh) * 2005-04-14 2012-05-30 汤姆森特许公司 空间可缩放视频解码方法和空间可缩放视频解码器
US8867618B2 (en) 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US9131247B2 (en) * 2005-10-19 2015-09-08 Thomson Licensing Multi-view video coding using scalable video coding
US8446956B2 (en) * 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
US8422555B2 (en) 2006-07-11 2013-04-16 Nokia Corporation Scalable video coding
KR101233627B1 (ko) 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
EP2375751A1 (en) 2010-04-12 2011-10-12 Panasonic Corporation Complexity reduction of edge-detection based spatial interpolation
US9729873B2 (en) 2012-01-24 2017-08-08 Qualcomm Incorporated Video coding using parallel motion estimation
US9253487B2 (en) * 2012-05-31 2016-02-02 Qualcomm Incorporated Reference index for enhancement layer in scalable video coding
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
US9743097B2 (en) * 2013-03-01 2017-08-22 Qualcomm Incorporated Spatial motion vector scaling for scalable video coding
AU2014231403A1 (en) 2013-03-12 2015-07-16 Hfi Innovation Inc. Inter-layer motion vector scaling for scalable video coding

Also Published As

Publication number Publication date
KR20150122764A (ko) 2015-11-02
WO2014134334A2 (en) 2014-09-04
JP6466349B2 (ja) 2019-02-06
BR112015020968A2 (pt) 2017-07-18
US20140247879A1 (en) 2014-09-04
KR102276276B1 (ko) 2021-07-12
ES2769837T3 (es) 2020-06-29
EP2962463B1 (en) 2019-10-30
HUE046809T2 (hu) 2020-03-30
BR112015020968B1 (pt) 2023-02-28
CN105103553B (zh) 2018-08-28
JP2016513441A (ja) 2016-05-12
CN105103553A (zh) 2015-11-25
TW201448573A (zh) 2014-12-16
US9743097B2 (en) 2017-08-22
WO2014134334A3 (en) 2015-01-08
EP2962463A2 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
CN111164973B (zh) 译码用于视频译码的仿射预测运动信息
JP6321139B2 (ja) Ｓｈｖｃにおいて再サンプリングプロセスを条件付きで呼び出すこと
TWI544788B (zh) 用於視圖間或層間參考圖像之位元串流約束及運動向量限制
JP6388929B2 (ja) マルチレイヤビデオコーディングにおけるレイヤ間予測タイプに関するビットストリーム制約を処理すること
JP6285018B2 (ja) スケーリングファクタを用いた再サンプリング
US9584805B2 (en) Prediction mode information downsampling in enhanced layer coding
JP2019534626A (ja) ビデオコーディングのための適応的な動きベクトル精度
TWI527440B (zh) 在視訊寫碼中針對高效率視訊寫碼（ｈｅｖｃ）延伸之多層之低複雜度支援
TW201729595A (zh) 針對視訊寫碼使用與位置相關之預測組合之改良視訊幀內預測
JP2018526881A (ja) ビデオコーディングにおける双予測を制約する方法およびシステム
TW201444350A (zh) 方形區塊預測
TWI536812B (zh) 針對三維（３ｄ）視訊之基於鄰近區塊的差異向量之約束
TWI558174B (zh) 用於寫碼視訊資訊之裝置、方法及非暫時性電腦可讀媒體
TW201401884A (zh) 視訊寫碼之層間合併清單建立
TW201509174A (zh) 對多層視訊寫碼之層間預測信令之最佳化
TW201352008A (zh) 在高效率視訊寫碼及其擴充中之運動向量寫碼及雙向預測
TW201313033A (zh) 視訊寫碼中之緩衝預測資料
TW201735635A (zh) 用於螢幕內容寫碼及多層寫碼之加權預測
TWI504239B (zh) 針對基於高效率視訊寫碼之可縮放寫碼之運動場升頻取樣
JP6526574B2 (ja) レイヤ間シンタックス予測制御
TWI543590B (zh) 用於可縮放視訊寫碼之空間運動向量縮放
JP2018511230A (ja) 動き探索における低複雑度のクォーターペル生成のための方法および装置
JP6479776B2 (ja) リサンプリングプロセスにおける中間データのダイナミックレンジ制御