TWI617180B - 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 - Google Patents

基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 Download PDF

Info

Publication number
TWI617180B
TWI617180B TW102109833A TW102109833A TWI617180B TW I617180 B TWI617180 B TW I617180B TW 102109833 A TW102109833 A TW 102109833A TW 102109833 A TW102109833 A TW 102109833A TW I617180 B TWI617180 B TW I617180B
Authority
TW
Taiwan
Prior art keywords
unit
information
coding
layer image
coding unit
Prior art date
Application number
TW102109833A
Other languages
English (en)
Other versions
TW201347554A (zh
Inventor
李泰美
崔秉斗
閔正惠
朴银姬
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201347554A publication Critical patent/TW201347554A/zh
Application granted granted Critical
Publication of TWI617180B publication Critical patent/TWI617180B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供基於具有樹狀結構的編碼單元的可調式視訊編碼及解碼。一種可調式視訊編碼方法包含：基於包含影像的最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，而對較低層影像做編碼；藉由參考所述較低層影像來判定用於基於具有所述樹狀結構的所述編碼單元而對較高層影像執行可調式編碼的可調式編碼模式；基於所述所判定的可調式編碼模式藉由參考所述較低層影像的編碼資訊來對所述較高層影像進行預測及編碼；以及基於所述所判定的可調式編碼模式而輸出所述較低層影像的編碼模式及所預測值以及所述較高層影 像的所述所判定的可調式編碼模式，其中，在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編碼單元判定為分割為較小編碼單元。

Description

基於樹狀結構之編碼單元的可調式視訊編碼的方法 與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置
本發明是關於視訊編碼以及解碼。
隨著用於再生以及儲存高解析度或高品質視訊內容的硬體正被開發以及供應，對用於有效地對高解析度或高品質視訊內容做編碼或解碼的視訊編解碼器的需要增加。在習知視訊編解碼器中，基於具有預定大小的巨集區塊而根據有限編碼方法來對視訊做編碼。
藉由使用頻率變換而將空間域的影像資料變換為頻域的係數。視訊編解碼器將影像分割為預定大小的區塊，對所述區塊中的每一者執行離散餘弦變換(discrete cosine transformation； DCT)，且對區塊單元的頻率係數做編碼以促進頻率變換的快速算術運算。相比空間域中的影像資料的係數，頻域的係數具有可容易壓縮的形式。特定言之，經由視訊編解碼器的畫面間預測或畫面內預測而將空間域的影像像素值表達為預測誤差，且因此若對預測誤差執行頻率變換，則可將大量資料變換為0。視訊編解碼器將連續且重複產生的資料替換為較小大小的資料，藉此減少總資料量。
本發明提供可調式視訊編碼方法以及可調式視訊解碼方法，且特定言之，提供使用具有樹狀結構的編碼單元的可調式視訊編碼方法以及可調式視訊解碼方法。
根據本發明的一態樣，提供一種可調式視訊編碼方法，包含：基於包含影像的最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，而對較低層影像做編碼；藉由參考所述較低層影像來判定用於基於具有所述樹狀結構的所述編碼單元而對較高層影像執行可調式編碼的可調式編碼模式；基於所述所判定的可調式編碼模式藉由參考所述較低層影像的編碼資訊來對所述較高層影像進行預測及編碼；以及基於所述所判定的可調式編碼模式而輸出所述較低層影像的編碼模式及所預測值以及所述較高層影像的所述所判定的可調式編碼 模式。在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編碼單元判定為分割為較小編碼單元。
在使用具有樹狀結構的編碼單元、編碼單元中的預測單元以及變換單元來編碼的較低層影像與較高層影像之間，準確地偵測了彼此對應的較低層資料單元以及較高層資料單元，且使用較低層資料單元以及不同編碼資訊來判定較高層資料單元，藉此降低較高層影像的編碼資訊的傳輸位元率以及有效地實施可調式視訊編碼及解碼方法。
100‧‧‧視訊編碼裝置
110‧‧‧最大編碼單元分割器
120‧‧‧編碼單元判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧編碼單元
320‧‧‧視訊資料
325‧‧‧編碼單元
330‧‧‧視訊資料
335‧‧‧編碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧運動估計器
425‧‧‧運動補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧SAO調整器
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧畫面內預測器
560‧‧‧運動補償器
570‧‧‧解區塊單元
580‧‧‧SAO調整器
585‧‧‧參考畫面
595‧‧‧經重新建構的畫面
600‧‧‧階層式結構
610‧‧‧編碼單元/分區
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧編碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧編碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧編碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
710‧‧‧編碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面間變換單元
900‧‧‧編碼單元/最大編碼單元
910‧‧‧預測單元
912‧‧‧分區類型/編碼單元/分區
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧編碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧編碼單元
970‧‧‧操作
980‧‧‧編碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧編碼單元
1012‧‧‧編碼單元
1014‧‧‧編碼單元
1016‧‧‧編碼單元
1018‧‧‧編碼單元
1020‧‧‧編碼單元
1022‧‧‧編碼單元
1024‧‧‧編碼單元
1026‧‧‧編碼單元
1028‧‧‧編碼單元
1030‧‧‧編碼單元
1032‧‧‧編碼單元
1040‧‧‧編碼單元
1042‧‧‧編碼單元
1044‧‧‧編碼單元
1046‧‧‧編碼單元
1048‧‧‧編碼單元
1050‧‧‧編碼單元
1052‧‧‧編碼單元
1054‧‧‧編碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1300‧‧‧最大編碼單元
1302‧‧‧編碼單元
1304‧‧‧編碼單元
1306‧‧‧編碼單元
1312‧‧‧編碼單元
1314‧‧‧編碼單元
1316‧‧‧編碼單元
1318‧‧‧編碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
1400‧‧‧可調式視訊編碼裝置
1410‧‧‧較低層編碼器
1420‧‧‧較高層編碼器
1430‧‧‧輸出單元
1500‧‧‧可調式視訊解碼裝置
1510‧‧‧剖析單元
1520‧‧‧較低層解碼器
1530‧‧‧較高層解碼器
1600‧‧‧可調式視訊編碼系統
1610‧‧‧較低層編碼端
1615‧‧‧編碼控制單元
1618‧‧‧區塊分割器
1620‧‧‧變換器/量化器
1625‧‧‧調整器/逆變換器
1630‧‧‧儲存單元
1635‧‧‧迴路內濾波器
1640‧‧‧運動補償器
1645‧‧‧畫面內預測器
1648‧‧‧預測切換器
1650‧‧‧層間預測端
1655‧‧‧迴路內濾波器
1660‧‧‧較高層編碼端
1663‧‧‧方塊
1665‧‧‧編碼控制單元
1668‧‧‧區塊分割器
1670‧‧‧變換器/量化器
1675‧‧‧調整器/逆變換器
1680‧‧‧儲存單元
1685‧‧‧迴路內濾波器
1690‧‧‧運動補償器
1695‧‧‧畫面內預測器
1698‧‧‧預測切換器
1710‧‧‧層間預測
1720‧‧‧層間畫面內預測
1730‧‧‧第一層間運動預測
1740‧‧‧第二層間運動預測
1750‧‧‧除層間運動預測之外的預測
1760‧‧‧層間殘餘預測
1770‧‧‧一般殘餘預測
1810‧‧‧較低層最大編碼單元
1820‧‧‧較高層最大編碼單元
1880‧‧‧樣本
1890‧‧‧樣本
1910‧‧‧操作
1920‧‧‧操作
1930‧‧‧操作
1940‧‧‧操作
2010‧‧‧操作
2020‧‧‧操作
2030‧‧‧操作
2110‧‧‧操作
2120‧‧‧操作
2130‧‧‧操作
2210‧‧‧操作
2220‧‧‧操作
2230‧‧‧操作
圖1為根據本發明的實施例的用於基於具有樹狀結構的編碼單元而對視訊做編碼的裝置的方塊圖。
圖2為根據本發明的實施例的用於基於具有樹狀結構的編碼單元而對視訊做解碼的裝置的方塊圖。
圖3為用於描述根據本發明的實施例的編碼單元的概念的圖式。
圖4為根據本發明的實施例的基於編碼單元的影像編碼器的方塊圖。
圖5為根據本發明的實施例的基於編碼單元的影像解碼器的 方塊圖。
圖6為說明根據本發明的實施例的根據深度的較深編碼單元以及分區的圖式。
圖7為用於描述根據本發明的實施例的編碼單元與變換單元之間的關係的圖式。
圖8為用於描述根據本發明的實施例的對應於經編碼的深度的編碼單元的編碼資訊的圖式。
圖9為根據本發明的實施例的根據深度的較深編碼單元的圖式。
圖10至圖12為用於描述根據本發明的實施例的編碼單元、預測單元與變換單元之間的關係的圖式。
圖13為用於描述根據表1的編碼模式資訊的編碼單元、預測單元或分區與變換單元之間的關係的圖式。
圖14為根據本發明的實施例的可調式視訊編碼裝置的方塊圖。
圖15為根據本發明的實施例的可調式視訊解碼裝置的方塊圖。
圖16為根據本發明的實施例的可調式視訊編碼系統的方塊圖。
圖17為用於解釋根據本發明的實施例的層間預測方法的圖式。
圖18為用於解釋根據本發明的實施例的較低層與較高層之 間的映射關係的圖式。
圖19為根據本發明的實施例的可調式視訊編碼方法的流程圖。
圖20為根據本發明的實施例的可調式視訊解碼方法的流程圖。
圖21為根據本發明的另一實施例的可調式視訊編碼方法的流程圖。
圖22為根據本發明的另一實施例的可調式視訊解碼方法的流程圖。
根據本發明的一態樣，提供一種可調式視訊編碼方法，包含：基於包含影像的最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，而對較低層影像做編碼；藉由參考所述較低層影像來判定用於基於具有所述樹狀結構的所述編碼單元而對較高層影像執行可調式編碼的可調式編碼模式；基於所述所判定的可調式編碼模式藉由參考所述較低層影像的編碼資訊來對所述較高層影像進行預測及編碼；以及基於所述所判定的可調式編碼模式而輸出所述較低層影像的編碼模式及所預測值以及所述較高層影像的所述所判定的可調式編碼模式。在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編 碼單元判定為分割為較小編碼單元。
根據本發明的另一態樣，提供一種可調式視訊編碼方法，包含：基於包含影像的最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，而對較低層影像做編碼；藉由參考所述較低層影像來判定用於基於具有所述樹狀結構的所述編碼單元而對較高層影像執行可調式編碼的可調式編碼模式；基於所述所判定的可調式編碼模式來判定待由所述較高層影像的資料單元參考的所述較低層影像的資料單元；以及藉由參考所述較低層影像的所述所判定的資料單元的編碼資訊來對所述較高層影像進行預測及編碼。
根據本發明的另一態樣，提供一種可調式視訊解碼方法，包含：自所接收的位元串流剖析較低層影像的編碼資訊以及較高層影像的可調式編碼模式；基於包含最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，藉由使用所述較低層影像的所述所剖析的編碼資訊而對較低層影像做解碼；以及根據所述所判定的可調式編碼模式藉由參考所述較低層影像的所述編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述較高層影像進行預測及解碼。
根據本發明的另一態樣，提供一種可調式視訊解碼方法，包含：基於包含最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，藉由使用自所接收的位元串流剖析的較低層影像的編碼資訊，而使用所述較低 層影像的所述所剖析的編碼資訊來對所述較低層影像做解碼；根據自所述位元串流剖析的較高層影像的所判定的可調式編碼模式來判定待由所述較高層影像的資料單元參考的所述較低層影像的資料單元；以及藉由參考所述較低層影像的所述所判定的資料單元的編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述較高層影像進行預測及編碼。
根據本發明的另一態樣，提供一種可調式視訊編碼裝置，包含：較低層編碼器，其基於包含影像的最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元而對較低層影像做編碼；較高層編碼器，其藉由參考所述較低層影像來判定用於基於具有所述樹狀結構的所述編碼單元而對較高層影像執行可調式編碼的可調式編碼模式，且基於所述所判定的可調式編碼模式藉由參考所述較低層影像的編碼資訊來對所述較高層影像進行預測及編碼；以及輸出單元，其基於所述所判定的可調式編碼模式而輸出所述較低層影像的編碼模式及所預測值以及所述較高層影像的所述所判定的可調式編碼模式。
根據本發明的另一態樣，提供一種可調式視訊解碼裝置，包含：剖析單元，其自所接收的位元串流剖析較低層影像的編碼資訊以及較高層影像的可調式編碼模式；較低層解碼器，其基於包含最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元藉由使用所述較低層影像的所述所剖析的編碼資訊而對較低層影像做解碼；以及高層解碼 器，其根據所述所判定的可調式編碼模式藉由參考所述較低層影像的所述編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述較高層影像進行預測及解碼。
根據本發明的另一態樣，提供一種可調式視訊解碼裝置，包含：剖析單元，其自所接收的位元串流剖析較低層影像的編碼資訊以及較高層影像的可調式編碼模式；較低層解碼器，其基於包含最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元藉由使用所述較低層影像的所述所剖析的編碼資訊而對較低層影像做解碼；以及較高層解碼器，其根據所述所判定的可調式編碼模式藉由參考所述較低層影像的所述編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述較高層影像進行預測及解碼。
根據本發明的另一態樣，提供一種可調式視訊解碼裝置，包含：較低層解碼器，其基於包含最大編碼單元的階層式分割的編碼單元中的完全分割的編碼單元的具有樹狀結構的編碼單元，藉由使用自所接收的位元串流剖析的較低層影像的編碼資訊，而使用所述較低層影像的所述所剖析的編碼資訊來對所述較低層影像做解碼；較高層解碼器，其根據自所述位元串流剖析的較高層影像的所判定的可調式編碼模式來判定待由所述較高層影像的資料單元參考的所述較低層影像的資料單元，且藉由參考所述較低層影像的所述所判定的資料單元的編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述較高層影像進行預測及編碼。
根據本發明的另一態樣，提供一種電腦可讀記錄媒體，其上記錄有用於執行可調式視訊編碼方法的程式。根據本發明的另一態樣，提供一種電腦可讀記錄媒體，其上記錄有用於執行可調式視訊解碼方法的程式。
下文中，將參看圖1至圖13來描述根據本發明的實施例的基於具有樹狀結構的編碼單元來對視訊做編碼以及解碼的方法。接著，將參看圖14至圖22來描述根據本發明的實施例的基於具有樹狀結構的編碼單元來對可調式視訊做編碼以及解碼的方法。
現將參看圖1至圖13來描述根據本發明的實施例的基於具有樹狀結構的編碼單元來對視訊做編碼以及解碼的方法。
圖1為根據本發明的實施例的基於具有樹狀結構的編碼單元的視訊編碼裝置100的方塊圖。
視訊編碼裝置100包含最大編碼單元分割器110、編碼單元判定器120以及輸出單元130。
最大編碼單元分割器110可基於影像的當前圖像的最大編碼單元來分割當前圖像。若當前圖像大於最大編碼單元，則當前圖像的影像資料可分割為至少一個最大編碼單元。根據本發明的實施例的最大編碼單元可為大小為32×32、64×64、128×128、256×256等的資料單元，其中資料單元的形狀是寬度以及長度為2的平方的正方形。影像資料可根據至少一個最大編碼單元而輸出至編碼單元判定器120。
根據本發明的實施例的編碼單元可藉由最大大小以及深度來表徵。深度表示編碼單元自最大編碼單元在空間上分割的次數，且隨著深度加深，根據深度的較深編碼單元可自最大編碼單元分割為最小編碼單元。最大編碼單元的深度為最上層深度，且最小編碼單元的深度為最下層深度。由於對應於每一深度的編碼單元的大小隨著最大編碼單元的深度加深而減小，因此對應於較上層深度的編碼單元可包含對應於較下層深度的多個編碼單元。
如上所述，當前圖像的影像資料根據編碼單元的最大大小而分割為最大編碼單元，且最大編碼單元中的每一者可包含根據深度而分割的較深編碼單元。由於根據本發明的實施例的最大編碼單元是根據深度來分割，因此包含於最大編碼單元中的空間域的影像資料可根據深度而階層式分類。
限制最大編碼單元的高度以及寬度階層式分割的總次數的編碼單元的最大深度以及最大大小可為預定的。
編碼單元判定器120對藉由根據深度來分割最大編碼單元的區域而獲得的至少一個分割區域做編碼，且判定深度以根據所述至少一個分割區域來輸出最終編碼的影像資料。換言之，編碼單元判定器120藉由根據當前圖像的最大編碼單元來對根據深度的較深編碼單元中的影像資料做編碼以及選擇具有最小編碼誤差的深度來判定經編碼的深度。因此，最終輸出對應於所判定的經編碼的深度的編碼單元的經編碼的影像資料。且，可將對應於經編碼的深度的編碼單元視為經編碼的編碼單元。
所判定的經編碼的深度以及根據所判定的經編碼的深度的經編碼的影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度的至少一個深度的較深編碼單元而對最大編碼單元中的影像資料做編碼，且基於較深編碼單元中的每一者而比較對影像資料做編碼的結果。可在比較較深編碼單元的編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一最大編碼單元選擇至少一個經編碼的深度。
隨著編碼單元根據深度而階層式分割，且隨著編碼單元的數目增大，最大編碼單元的大小被分割。且，即使編碼單元對應於一個最大編碼單元中的同一深度，仍藉由單獨量測每一編碼單元的影像資料的編碼誤差而判定是否將對應於同一深度的編碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大編碼單元中時，影像資料仍根據深度分割為區域且編碼誤差仍可根據所述一個最大編碼單元中的區域而不同，且因此經編碼的深度可根據影像資料中的區域而不同。因此，可在一個最大編碼單元中判定一或多個經編碼的深度，且可根據至少一個經編碼的深度的編碼單元而劃分最大編碼單元的影像資料。
因此，編碼單元判定器120可判定包含於最大編碼單元中的具有樹狀結構的編碼單元。根據本發明的實施例的「具有樹狀結構的編碼單元」包含最大編碼單元中所包含的所有較深編碼單元中的對應於判定為經編碼的深度的深度的編碼單元。可根據最大編碼單元的同一區域中的深度而階層式判定經編碼的深度的 編碼單元，且可在不同區域中獨立地進行判定。類似地，可獨立於另一區域中的經編碼的深度而判定當前區域中的經編碼的深度。
根據本發明的實施例的最大深度為與自最大編碼單元至最小編碼單元的分割次數相關的索引。根據本發明的實施例的第一最大深度可表示自最大編碼單元至最小編碼單元的總分割次數。根據本發明的實施例的第二最大深度可表示自最大編碼單元至最小編碼單元的總深度層級數。舉例而言，當最大編碼單元的深度為0時，最大編碼單元被分割一次的編碼單元的深度可設定為1，且最大編碼單元被分割兩次的編碼單元的深度可設定為2。此處，若最小編碼單元為最大編碼單元被分割四次的編碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因此第一最大深度以及第二最大深度可分別設定為4以及5。
可根據最大編碼單元執行預測編碼以及變換。根據最大編碼單元，亦基於根據等於最大深度的深度或小於最大深度的深度的較深編碼單元來執行預測編碼以及變換。
由於每當根據深度來分割最大編碼單元，較深編碼單元的數目便增大，因此對隨著深度加深而產生的所有較深編碼單元執行包含預測編碼以及變換的編碼。為便於描述，在最大編碼單元中，現將基於當前深度的編碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼的資料單元的大小或形狀。為了對影像資料做編碼，執行諸 如預測編碼、變換以及熵編碼的操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100可不僅選擇用於對影像資料做編碼的編碼單元，而且選擇不同於編碼單元的資料單元，以便對編碼單元中的影像資料執行預測編碼。
為了在最大編碼單元中執行預測編碼，可基於對應於經編碼的深度的編碼單元(亦即，基於不再分割為對應於較下層深度的編碼單元的編碼單元)來執行預測編碼。下文中，不再分割且變為用於預測編碼的基礎單元的編碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得的分區可包含藉由分割預測單元的高度以及寬度中的至少一者而獲得的預測單元或資料單元。分區可為藉由分割編碼單元的預測單元而獲得的資料單元。預測單元可為大小與編碼單元的大小相同的分區。
舉例而言，當2N×2N(其中N為正整數)的編碼單元不再分割且變為2N×2N的預測單元，分區的大小可為2N×2N、2N×N、N×2N或N×N。分區類型的實例包含藉由對稱地分割預測單元的高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元的高度或寬度(諸如，1：n或n：1)而獲得的分區、藉由用幾何方式分割預測單元而獲得的分區，以及具有任意形狀的分區。
預測單元的預測模式可為畫面內模式、畫面間模式以及跳過模式中的至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N的分區執行畫面內模式或畫面間模式。且，可僅對2N×2N 的分區執行跳過模式。在編碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼的編碼單元而且基於不同於編碼單元的資料單元而對編碼單元中的影像資料執行變換。為了在編碼單元中執行變換，可基於具有小於或等於編碼單元的大小的資料單元來執行變換。舉例而言，用於變換的資料單元可包含用於畫面內模式的資料單元以及用於畫面間模式的資料單元。
用作變換的基礎的資料單元現將稱為「變換單元」。亦可在變換單元中設定指示藉由分割編碼單元的高度以及寬度而達到變換單元的分割次數的變換深度。舉例而言，在2N×2N的當前編碼單元中，在變換單元的大小亦為2N×2N時，變換深度可為0，且在當前編碼單元的高度以及寬度中的每一者分割為兩等分(總計分割為4^1個變換單元)且變換單元的大小因此為N×N時，變換深度可為1，且在當前編碼單元的高度以及寬度中的每一者分割為四等分(總計分割為4^2個變換單元)且變換單元的大小因此為N/2×N/2時，變換深度可為2。舉例而言，可根據階層式樹狀結構而設定變換單元，其中根據變換深度的階層式特性，較上層變換深度的變換單元分割為較下層變換深度的四個變換單元。
類似於編碼單元，編碼單元中的變換單元可按遞迴方式分割為較小大小的區域，以使得可單獨以區域為單位來判定變換單元。因此，可根據具有根據變換深度的樹狀結構的變換單元而 劃分編碼單元中的殘餘資料。
亦可在變換單元中設定指示藉由分割編碼單元的高度以及寬度而達到變換單元的分割次數的變換深度。舉例而言，在2N×2N的當前編碼單元中，當變換單元的大小亦為2N×2N時，變換深度可為0，當變換單元的大小為N×N時，變換深度可為1，且當變換單元的大小為N/2×N/2時，變換深度可為2。換言之，可根據變換深度而設定具有樹狀結構的變換單元。
根據對應於經編碼的深度的編碼單元的編碼資訊不僅需要關於經編碼的深度的資訊，而且需要與預測編碼以及變換相關的資訊。因此，編碼單元判定器120不僅判定具有最小編碼誤差的經編碼的深度，而且判定預測單元中的分區類型、根據預測單元的預測模式，以及用於變換的變換單元的大小。
稍後將參看圖3及圖13詳細描述根據本發明的實施例的最大編碼單元中的根據樹狀結構的編碼單元以及判定預測單元/分區以及變換單元的方法。
編碼單元判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)來量測根據深度的較深編碼單元的編碼誤差。
輸出單元130按照位元串流的形式輸出基於由編碼單元判定器120判定的至少一個經編碼的深度而編碼的最大編碼單元的影像資料，以及根據經編碼的深度關於編碼模式的資訊。
可藉由對影像的殘餘資料做編碼來獲得經編碼的影像資 料。
根據經編碼的深度關於編碼模式的資訊可包含關於經編碼的深度、關於預測單元中的分區類型、預測模式以及變換單元的大小的資訊。
可藉由使用根據深度的分割資訊來定義關於經編碼的深度的資訊，根據深度的分割資訊指示是否對較下層深度而非當前深度的編碼單元執行編碼。若當前編碼單元的當前深度為經編碼的深度，則對當前編碼單元中的影像資料做編碼且輸出，且因此，分割資訊可定義為不將當前編碼單元分割為較下層深度。或者，若當前編碼單元的當前深度並非經編碼的深度，則對較下層深度的編碼單元執行編碼，且因此分割資訊可定義為分割當前編碼單元以獲得較下層深度的編碼單元。
若當前深度並非經編碼的深度，則對分割為較下層深度的編碼單元的編碼單元執行編碼。由於較下層深度的至少一個編碼單元存在於當前深度的一個編碼單元中，因此對較下層深度的每一編碼單元重複地執行編碼，且因此可對具有同一深度的編碼單元按遞迴方式執行編碼。
由於針對一個最大編碼單元而判定具有樹狀結構的編碼單元，且針對經編碼的深度的編碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大編碼單元而判定關於至少一個編碼模式的資訊。且，最大編碼單元的影像資料的經編碼的深度可根據位置而不同，此是因為根據深度而階層式分割影像資料， 且因此可針對影像資料而設定關於經編碼的深度以及編碼模式的資訊。
因此，輸出單元130可將關於相應經編碼的深度以及編碼模式的編碼資訊指派給包含於最大編碼單元中的編碼單元、預測單元以及最小單元中的至少一者。
根據本發明的實施例的最小單元為藉由將構成最下層深度的最小編碼單元分割為4份而獲得的矩形資料單元。或者，最小單元可為可包含於最大編碼單元中所包含的所有編碼單元、預測單元、分區單元以及變換單元中的最大矩形資料單元。
舉例而言，經由輸出單元130而輸出的編碼資訊可分類為根據編碼單元的編碼資訊，以及根據預測單元的編碼資訊。根據編碼單元的編碼資訊可包含關於預測模式以及關於分區的大小的資訊。根據預測單元的編碼資訊可包含關於畫面間模式的估計方向、關於畫面間模式的參考影像索引、關於運動向量、關於畫面內模式的色度分量以及關於畫面內模式的內插方法的資訊。
且，關於根據圖像、片段或圖像群組(group of picture；GOP)而定義的編碼單元的最大大小的資訊，以及關於最大深度的資訊可插入至位元串流的標頭、序列參數集合(sequence parameter set；SPS)或圖像參數集合(picture parameter set)中。
關於針對當前視訊而允許的變換單元的最大大小的資訊，以及關於變換單元的最小大小的資訊可經由位元串流的標頭、SPS或圖像參數集合而輸出。
在視訊編碼裝置100中，較深編碼單元可為藉由將較上層深度的編碼單元(其為上一層)的高度或寬度劃分為2份而獲得的編碼單元。換言之，在當前深度的編碼單元的大小為2N×2N時，較下層深度的編碼單元的大小為N×N。且，大小為2N×2N的當前深度的編碼單元可包含較下層深度的最多4個編碼單元。
因此，視訊編碼裝置100可藉由基於考慮當前圖像的特性而判定的最大編碼單元的大小以及最大深度，藉由針對每一最大編碼單元判定具有最佳形狀以及最佳大小的編碼單元而形成具有樹狀結構的編碼單元。且，由於藉由使用各種預測模式以及變換中的任一者對每一最大編碼單元執行編碼，因此可考慮各種影像大小的編碼單元的特性來判定最佳編碼模式。
一般而言，若在習知巨集區塊中對具有高解析度或大量資料的影像做編碼，則每圖像的巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生的壓縮資訊的段數增大，且因此難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像的大小而增大編碼單元的最大大小的同時考慮影像的特性而調整編碼單元以及編碼方法，所以影像壓縮效率可提高。
圖2為根據本發明的實施例的基於具有樹狀結構的編碼單元的視訊解碼裝置200的方塊圖。
視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。用於視訊解碼裝置200 的各種操作的各種術語(諸如，編碼單元、深度、預測單元、變換單元以及關於各種編碼模式的資訊)的定義與參看圖6且參考視訊編碼裝置100所述的術語相同。
接收器210接收且剖析經編碼的視訊的位元串流。影像資料以及編碼資訊提取器220自所剖析的位元串流提取每一編碼單元的經編碼的影像資料，其中編碼單元具有根據每一最大編碼單元的樹狀結構，且將所提取的影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像的標頭、SPS或圖像參數集合提取關於當前圖像的編碼單元的最大大小的資訊。
且，影像資料以及編碼資訊提取器220自所剖析的位元串流針對具有根據每一最大編碼單元的樹狀結構的編碼單元提取關於經編碼的深度以及編碼模式的資訊。關於經編碼的深度以及編碼模式的所提取的資訊輸出至影像資料解碼器230。換言之，位元串流中的影像資料分割為最大編碼單元，以使得影像資料解碼器230對每一最大編碼單元的影像資料做解碼。
可針對關於對應於經編碼的深度的至少一個編碼單元的資訊而設定根據最大編碼單元關於經編碼的深度以及編碼模式的資訊，且關於編碼模式的資訊可包含關於對應於經編碼的深度的相應編碼單元的分區類型、關於預測模式以及變換單元的大小的資訊。可將根據深度的分割資訊作為關於經編碼的深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大編碼單元關於經編碼的深度以及編碼模式的資訊為關於經判定以在諸如視訊編碼裝置100的編碼器根據每一最大編碼單元對根據深度的每一較深編碼單元重複地執行編碼時產生最小編碼誤差的經編碼的深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差的經編碼的深度以及編碼模式來對影像資料做解碼而復原影像。
由於關於經編碼的深度以及編碼模式的編碼資訊可指派給對應編碼單元、預測單元以及最小單元中的預定資料單元，因此影像資料以及編碼資訊提取器220可提取根據預定資料單元關於經編碼的深度以及編碼模式的資訊。被指派關於經編碼的深度以及編碼模式的相同資訊的預定資料單元可推斷為包含於同一最大編碼單元中的資料單元。
影像資料解碼器230可藉由基於根據最大編碼單元關於經編碼的深度以及編碼模式的資訊對每一最大編碼單元中的影像資料做解碼來復原當前圖像。換言之，影像資料解碼器230可基於關於每一最大編碼單元中所包含的具有樹狀結構的編碼單元中的每一編碼單元的分區類型、預測模式以及變換單元的所提取的資訊而對經編碼的影像資料做解碼。解碼程序可包含：包含畫面內預測以及運動補償的預測；以及逆變換。可根據逆正交變換或逆整數變換的方法而執行逆變換。
影像資料解碼器230可基於根據經編碼的深度關於每一 編碼單元的預測單元的分區類型以及預測模式的資訊根據所述編碼單元的分區以及預測模式來執行畫面內預測或運動補償。
且，影像資料解碼器230可基於根據經編碼的深度關於編碼單元的變換單元的大小的資訊根據編碼單元中的每一變換單元來執行逆變換，以便根據最大編碼單元來執行逆變換。經由逆變換，可重新建構編碼單元的空間區域的像素值。
影像資料解碼器230可藉由使用根據深度的分割資訊而判定當前最大編碼單元的至少一個經編碼的深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經編碼的深度。因此，影像資料解碼器230可藉由使用關於對應於經編碼的深度的每一編碼單元的預測單元的分區類型、預測模式以及變換單元的大小的資訊來對對應於當前最大編碼單元中的每一經編碼的深度的至少一個編碼單元的經編碼的資料做解碼，且輸出當前最大編碼單元的影像資料。
換言之，可藉由觀測針對編碼單元、預測單元以及最小單元中的預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊的編碼資訊的資料單元，且可將所收集的資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。以此方式，可根據所判定的編碼單元中的每一者藉由獲得關於編碼模式的資訊而執行當前編碼單元的解碼。
視訊解碼裝置200可獲得關於在對每一最大編碼單元按遞迴方式執行編碼時產生最小編碼誤差的至少一個編碼單元的資 訊，且可使用所述資訊來對當前圖像做解碼。換言之，可對判定為每一最大編碼單元中的最佳編碼單元的具有樹狀結構的編碼單元做解碼。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收的關於最佳編碼模式的資訊藉由使用根據影像資料的特性而適應性地判定的編碼單元的大小、編碼模式、預測濾波器以及預測濾波方法來有效地對影像資料做解碼以及重新建構。
圖3為用於描述根據本發明的實施例的編碼單元的概念的圖式。
編碼單元的大小可用寬度×高度來表達，且可包含64×64、32×32、16×16以及8×8。64×64的編碼單元可分割為64×64、64×32、32×64或32×32的分區，且32×32的編碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16的編碼單元可分割為16×16、16×8、8×16或8×8的分區，且8×8的編碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，編碼單元的最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，編碼單元的最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，編碼單元的最大大小為16，且最大深度為1。圖3所示的最大深度表示自最大編碼單元至最小解碼單元的總分割次數。
若解析度高或資料量大，則編碼單元的最大大小可為大的，以便不僅提高編碼效率而且準確地反映影像的特性。因此，具有高於視訊資料330的解析度的視訊資料310以及320的編碼單元的最大大小可為64。
由於視訊資料310的最大深度為2，因此視訊資料310的編碼單元315可包含長軸大小為64的最大編碼單元，以及長軸大小為32以及16的編碼單元，此是因為深度藉由分割最大編碼單元兩次而加深為兩層。同時，由於視訊資料330的最大深度為1，因此視訊資料330的編碼單元335可包含長軸大小為16的最大編碼單元，以及長軸大小為8的編碼單元，此是因為深度藉由分割最大編碼單元一次而加深為一層。
由於視訊資料320的最大深度為3，因此視訊資料320的編碼單元325可包含長軸大小為64的最大編碼單元，以及長軸大小為32、16以及8的編碼單元，此是因為深度藉由分割最大編碼單元三次而加深為三層。隨著深度加深，可精確地表達詳細資訊。
圖4為根據本發明的實施例的基於編碼單元的影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100的編碼單元判定器120的操作以對影像資料做編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中的編碼單元執行畫面內預測，且運動估計器420以及運動補償器425藉由使用當前畫面405 以及參考畫面495而對當前畫面405中的處於畫面間模式中的編碼單元執行畫面間估計以及運動補償。
自畫面內預測器410、運動估計器420以及運動補償器425輸出的資料經由變換器430以及量化器440作為經量化的變換係數而輸出。經量化的變換係數經由逆量化器460以及逆變換器470重新建構為空間域中的資料，且空間域中的經重新建構的資料在經由解區塊單元480以及樣本適應性偏移(sample adaptive offset；SAO)調整器490後處理之後作為參考畫面495輸出。經量化的變換係數可經由熵編碼器450作為位元串流455輸出。
為了使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400的所有部件(亦即，畫面內預測器410、運動估計器420、運動補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及SAO調整器)在考慮每一最大編碼單元的最大深度的同時基於具有樹狀結構的編碼單元中的每一編碼單元來執行操作。
具體言之，畫面內預測器410、運動估計器420以及運動補償器425在考慮當前最大編碼單元的最大大小以及最大深度的同時判定具有樹狀結構的編碼單元中的每一編碼單元的分區以及預測模式，且變換器430判定具有樹狀結構的編碼單元中的每一編碼單元中的變換單元的大小。
圖5為根據本發明的實施例的基於編碼單元的影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼的經編碼的影像資料以及解碼所需的關於編碼的資訊。經編碼的影像資料經由熵解碼器520以及逆量化器530作為經逆量化的資料而輸出，且經逆量化的資料經由逆變換器540而重新建構為空間域中的影像資料。
畫面內預測器550關於空間域中的影像資料對處於畫面內模式中的編碼單元執行畫面內預測，且運動補償器560藉由使用參考畫面585對處於畫面間模式中的編碼單元執行運動補償。
通過畫面內預測器550以及運動補償器560的空間域中的影像資料可在經由解區塊單元570以及SAO調整器580後處理之後作為經重新建構的畫面595輸出。且，經由解區塊單元570以及SAO調整器580後處理的影像資料可作為參考畫面585輸出。
為了在視訊解碼裝置200的影像資料解碼器230中對影像資料做解碼，影像解碼器500可執行在剖析器510之後執行的操作。
為了使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500的所有部件(亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、運動補償器560、解區塊單元570以及SAO調整器580)針對每一最大編碼單元基於具有樹狀結構的編碼單元來執行操作。
具體言之，畫面內預測器550以及運動補償器560針對具有樹狀結構的編碼單元中的每一者基於分區以及預測模式而執 行操作，且逆變換器540針對每一編碼單元基於變換單元的大小而執行操作。
圖6為說明根據本發明的實施例的根據深度的較深編碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式編碼單元以便考慮影像的特性。可根據影像的特性來適應性地判定編碼單元的最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據編碼單元的預定最大大小判定根據深度的較深編碼單元的大小。
在編碼單元的階層式結構600中，編碼單元的最大高度以及最大寬度各為64，且最大深度為3。此處，最大深度表示編碼單元自最大編碼單元分割至最小編碼單元的總分割次數。由於深度沿著階層式結構600的垂直軸加深，因此將較深編碼單元的高度以及寬度各自分割。且，沿著階層式結構600的水平軸展示作為用於每一較深編碼單元的預測編碼的基礎的預測單元以及分區。
換言之，編碼單元610為階層式結構600中的最大編碼單元，其中深度為0且大小(亦即，高度乘寬度)為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1的編碼單元620、大小為16×16且深度為2的編碼單元630以及大小為8×8且深度為3的編碼單元640。大小為8×8且深度為3的編碼單元640為最小編碼單元。
編碼單元的預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0的編碼單元610為預測單元，則預測單元可分割為包含於編碼單元610中的分區，亦即，大小為64×64的分區610、大小為64×32的分區612、大小為32×64的分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1的編碼單元620的預測單元可分割為包含於編碼單元620中的分區，亦即，大小為32×32的分區620、大小為32×16的分區622、大小為16×32的分區624以及大小為16×16的分區626。
類似地，大小為16×16且深度為2的編碼單元630的預測單元可分割為包含於編碼單元630中的分區，亦即，包含於編碼單元中的大小為16×16的分區630、大小為16×8的分區632、大小為8×16的分區634以及大小為8×8的分區636。
類似地，大小為8×8且深度為3的編碼單元640的預測單元可分割為包含於編碼單元640中的分區，亦即，包含於編碼單元中的大小為8×8的分區640、大小為8×4的分區642、大小為4×8的分區644以及大小為4×4的分區646。
最終，大小為8×8且深度為3的編碼單元640為最小編碼單元以及最下層深度的編碼單元。
為了判定構成最大編碼單元610的編碼單元的至少一個經編碼的深度，視訊編碼裝置100的編碼單元判定器120對包含於最大編碼單元610中的對應於每一深度的編碼單元執行編碼。
隨著深度加深，包含相同範圍中的資料以及相同大小的根據深度的較深編碼單元的數目增大。舉例而言，需要對應於深度2的四個編碼單元來涵蓋包含於對應於深度1的一個編碼單元中的資料。因此，為了比較根據深度的相同資料的編碼結果，將對應於深度1的編碼單元以及對應於深度2的四個編碼單元各自編碼。
為了針對深度中的當前深度執行編碼，沿著階層式結構600的水平軸，可藉由針對對應於當前深度的編碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度的最小編碼誤差、藉由隨著深度沿著階層式結構600的垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇編碼單元610中具有最小編碼誤差的深度以及分區作為編碼單元610的經編碼的深度以及分區類型。
圖7為用於描述根據本發明的實施例的編碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大編碼單元根據具有小於或等於最大編碼單元的大小的編碼單元來對影像做編碼或解碼。可基於不大於相應編碼單元的資料單元而選擇在編碼期間用於變換的變換單元的大小。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若編碼單元710的大小為64×64，則可藉由使用大小為32×32的變換單元720來執行變換。
且，可藉由對大小為小於64×64的32×32、16×16、8×8以及4×4的變換單元中的每一者執行變換而對大小為64×64的編碼單元710的資料做編碼，且接著可選擇具有最小編碼誤差的變換單元。
圖8為用於描述根據本發明的實施例的對應於經編碼的深度的編碼單元的編碼資訊的圖式。
視訊編碼裝置100的輸出單元130可對關於分區類型的資訊800、關於預測模式的資訊810，以及關於對應於經編碼的深度的每一編碼單元的變換單元的大小的資訊820做編碼且作為關於編碼模式的資訊而傳輸。
資訊800指示關於藉由分割當前編碼單元的預測單元而獲得的分區的形狀的資訊，其中分區為用於當前編碼單元的預測編碼的資料單元。舉例而言，大小為2N×2N的當前編碼單元CU_0可分割為大小為2N×2N的分區802、大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的任一者。此處，關於分區類型的資訊800設定為指示大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的一者。
資訊810指示每一分區的預測模式。舉例而言，資訊810可指示對由資訊800指示的分區執行的預測編碼的模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前編碼單元執行變換的變 換單元。舉例而言，變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面間變換單元828。
根據每一較深編碼單元，視訊解碼裝置200的影像資料以及編碼資訊提取器210可提取且使用資訊800、810以及820以用於解碼。
圖9為根據本發明的實施例的根據深度的較深編碼單元的圖式。
分割資訊可用以指示深度的改變。分割資訊指示當前深度的編碼單元是否分割為較下層深度的編碼單元。
用於深度為0且大小為2N_0×2N_0的編碼單元900的預測編碼的預測單元910可包含大小為2N_0×2N_0的分區類型912、大小為2N_0×N_0的分區類型914、大小為N_0×2N_0的分區類型916以及大小為N_0×N_0的分區類型918的分區。圖9僅說明藉由對稱地分割預測單元910而獲得的分區類型912至918，但分區類型不限於此，且預測單元910的分區可包含非對稱分區、具有預定形狀的分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0的一個分區、大小為2N_0×N_0的兩個分區、大小為N_0×2N_0的兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的分區執行在畫面內模式以及畫面間模式中的預測編碼。僅對大小為 2N_0×2N_0的分區執行在跳過模式中的預測編碼。
若編碼誤差在分區類型912至916中的一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0的編碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1(=N_0×N_0)的編碼單元930的預測編碼的預測單元940可包含大小為2N_1×2N_1的分區類型942、大小為2N_1×N_1的分區類型944、大小為N_1×2N_1的分區類型946以及大小為N_1×N_1的分區類型948的分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2的編碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可執行根據每一深度的分割操作直至深度變為d-1時，且可對分割資訊做編碼直至深度為0至d-2中的一者時。換言之，當執行編碼直至在對應於深度d-2的編碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大小為2N_(d-1)×2N_(d-1)的編碼單元980的預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)的分區類型992、大小為2N_(d-1)×N_(d-1)的分區類型994、大小為N_(d-1)×2N_(d-1)的分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998的分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)的一個分區、大小為2N_(d-1)×N_(d-1)的兩個分區、大小為N_(d-1)×2N_(d-1)的兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此不再將深度為d-1的編碼單元CU_(d-1)分割為較下層深度，且將構成當前最大編碼單元900的編碼單元的經編碼的深度判定為d-1，且可將當前最大編碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1的最小編碼單元980不再分割為較下層深度，因此不設定用於最小編碼單元980的分割資訊。
資料單元999可為當前最大編碼單元的「最小單元」。根據本發明的實施例的最小單元可為藉由將最小編碼單元980分割為4份而獲得的正方形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據編碼單元900的深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經編碼的深度，且將對應分區類型以及預測模式設定為經編碼的深度的編碼模式。
因而，在所有深度1至d中比較根據深度的最小編碼誤差，且可將具有最小編碼誤差的深度判定為經編碼的深度。可對經編碼的深度、預測單元的分區類型以及預測模式做編碼且作為關於編碼模式的資訊而傳輸。且，由於編碼單元自深度0分割為經編碼的深度，因此僅經編碼的深度的分割資訊設定為0，且排除 經編碼的深度的深度的分割資訊設定為1。
視訊解碼裝置200的影像資料以及編碼資訊提取器220可提取且使用關於編碼單元900的經編碼的深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度的分割資訊而將分割資訊為0的深度判定為經編碼的深度，且使用關於對應深度的編碼模式的資訊以用於解碼。
圖10至圖12為用於描述根據本發明的實施例的編碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
編碼單元1010為在最大編碼單元中對應於由視訊編碼裝置100判定的經編碼的深度的具有樹狀結構的編碼單元。預測單元1060為編碼單元1010中的每一者的預測單元的分區，且變換單元1070為編碼單元1010中的每一者的變換單元。
當最大編碼單元的深度在編碼單元1010中為0時，編碼單元1012以及1054的深度為1，編碼單元1014、1016、1018、1028、1050以及1052的深度為2，編碼單元1020、1022、1024、1026、1030、1032以及1048的深度為3，且編碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由在編碼單元1010中分割編碼單元而獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，編碼單元1014、1022、1050以及1054中的分區類型的大小為2N×N，編碼單元1016、1048以及1052中的分區類型的大小為N×2N，且編碼單元1032的分區類型的大小 為N×N。編碼單元1010的預測單元以及分區小於或等於每一編碼單元。
對小於編碼單元1052的資料單元中的變換單元1070中的編碼單元1052的影像資料執行變換或逆變換。且，變換單元1070中的編碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的編碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一編碼單元中的資料單元個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此，對在最大編碼單元的每一區域中具有階層式結構的編碼單元中的每一者以遞迴方式執行編碼以判定最佳編碼單元，且因此可獲得具有遞迴樹狀結構的編碼單元。編碼資訊可包含關於編碼單元的分割資訊、關於分區類型的資訊、關於預測模式的資訊，以及關於變換單元的大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定的編碼資訊。
【表1】
視訊編碼裝置100的輸出單元130可輸出關於具有樹狀結構的編碼單元的編碼資訊，且視訊解碼裝置200的影像資料以及編碼資訊提取器220可自所接收的位元串流提取關於具有樹狀結構的編碼單元的編碼資訊。
分割資訊指示當前編碼單元是否分割為較下層深度的編碼單元。若當前深度d的分割資訊為0，則當前編碼單元不再分割為較下層深度的深度為經編碼的深度，且因此可針對經編碼的深度而定義關於分區類型、預測模式以及變換單元的大小的資訊。若根據分割資訊進一步分割當前編碼單元，則對較下層深度的四 個分割編碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中的一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N的分區類型中定義跳過模式。
關於分區類型的資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N的對稱分區類型，其是藉由對稱地分割預測單元的高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N的非對稱分區類型，其是藉由非對稱地分割預測單元的高度或寬度而獲得。可藉由以1：3以及3：1分割預測單元的高度而分別獲得大小為2N×nU以及2N×nD的非對稱分區類型，且可藉由以1：3以及3：1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N的非對稱分區類型。
變換單元的大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若變換單元的分割資訊為0，則變換單元的大小可為2N×2N，此為當前編碼單元的大小。若變換單元的分割資訊為1，則可藉由分割當前編碼單元而獲得變換單元。且，若大小為2N×2N的當前編碼單元的分區類型為對稱分區類型，則變換單元的大小可為N×N，且若當前編碼單元的分區類型為非對稱分區類型，則變換單元的大小可為N/2×N/2。
關於具有樹狀結構的編碼單元的編碼資訊可包含對應於經編碼的深度的編碼單元、預測單元以及最小單元中的至少一者。對應於經編碼的深度的編碼單元可包含含有相同編碼資訊的 預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元的編碼資訊而判定鄰近資料單元是否包含於對應於經編碼的深度的同一編碼單元中。且，藉由使用資料單元的編碼資訊而判定對應於經編碼的深度的相應編碼單元，且因此可判定最大編碼單元中的經編碼的深度的分佈。
因此，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則可直接參考且使用鄰近於當前編碼單元的較深編碼單元中的資料單元的編碼資訊。
或者，若基於鄰近資料單元的編碼資訊而預測當前編碼單元，則使用資料單元的經編碼的資訊而搜尋鄰近於當前編碼單元的資料單元，且可參考所搜尋的鄰近編碼單元以用於預測當前編碼單元。
圖13為用於描述根據表1的編碼模式資訊的編碼單元、預測單元或分區與變換單元之間的關係的圖式。
最大編碼單元1300包含經編碼的深度的編碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於編碼單元1318為經編碼的深度的編碼單元，因此分割資訊可設定為0。關於大小為2N×2N的編碼單元1318的分區類型的資訊可設定為大小為2N×2N的分區類型1322、大小為2N×N的分區類型1324、大小為N×2N的分區類型1326、大小為N×N的分區類型1328、大小為2N×nU的分區類型1332、大小為2N×nD的分區類型1334、大小為nL×2N的分區類型1336以及大小為nR×2N的分 區類型1338中的一者。
變換單元分割資訊TU大小旗標可為一種類型的變換索引，且對應於變換索引的變換單元的大小可根據編碼單元的預測單元類型或分區類型而變化。
舉例而言，在分區類型設定為對稱(亦即，分區類型1322、1324、1326或1328)時，若變換單元的TU大小旗標為0，則設定大小為2N×2N的變換單元1342，且若TU大小旗標為1，則設定大小為N×N的變換單元1344。
當分區類型設定為非對稱(亦即，分區類型1332、1334、1336或1338)時，若TU大小旗標為0，則設定大小為2N×2N的變換單元1352，且若TU大小旗標為1，則設定大小為N/2×N/2的變換單元1354。
參看圖13，TU大小旗標為具有值0或1的旗標，但TU大小旗標不限於1個位元，且變換單元可在TU大小旗標自0增大時階層式分割為具有樹狀結構。TU大小旗標可用作變換索引的實例。
在此狀況下，藉由將變換單元的TU大小旗標與變換單元的最大大小及最小大小一起使用，可表達已實際使用的變換單元的大小。視訊編碼裝置100能夠對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標做編碼。對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標做編碼的結果可插入至SPS中。視訊解碼裝置200可藉由使用最大變換單 元大小資訊、最小變換單元大小資訊以及最大TU大小旗標來對視訊做解碼。
舉例而言，若當前編碼單元的大小為64×64且最大變換單元大小為32×32，則當TU大小旗標為0時，變換單元的大小可為32×32，當TU大小旗標為1時，變換單元的大小可為16×16，且當TU大小旗標為2時，變換單元的大小可為8×8。
作為另一實例，若當前編碼單元的大小為32×32且最小變換單元大小為32×32，則當TU大小旗標為0時，變換單元的大小可為32×32。此時，TU大小旗標無法設定為除0之外的值，此是因為變換單元的大小無法小於32×32。
作為另一實例，若當前編碼單元的大小為64×64且最大TU大小旗標為1，則TU大小旗標可為0或1。此時，TU大小旗標無法設定為除0或1之外的值。
因此，若定義最大TU大小旗標為「MaxTransformSizeIndex」、最小變換單元大小為「MinTransformSize」且在TU大小旗標為0時的變換單元大小為「RootTuSize」，則可在當前編碼單元中判定的當前最小變換單元大小「CurrMinTuSize」可由方程式(1)來定義：CurrMinTuSize=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex)).......(1)
與可在當前編碼單元中判定的當前最小變換單元大小 「CurrMinTuSize」相比，在TU大小旗標為0時的變換單元大小「RootTuSize」可表示可在系統中選擇的最大變換單元大小。在方程式(1)中，「RootTuSize/(2^MaxTransformSizeIndex)」表示在TU大小旗標為0時的變換單元大小「RootTuSize」分割對應於最大TU大小旗標的次數時的變換單元大小，且「MinTransformSize」表示最小變換大小。因此，「RootTuSize/(2^MaxTransformSizeIndex)」以及「MinTransformSize」中的較小值可為可在當前編碼單元中判定的當前最小變換單元大小「CurrMinTuSize」。
最大變換單元大小RootTuSize可根據預測模式的類型而變化。
舉例而言，若當前預測模式為畫面間模式，則可藉由使用下文方程式(2)來判定「RootTuSize」。在方程式(2)中，「MaxTransformSize」表示最大變換單元大小，且「PUSize」表示當前預測單元大小。
RootTuSize=min(MaxTransformSize,PUSize).........(2)
亦即，若當前預測模式為畫面間模式，則在TU大小旗標為0時的變換單元大小「RootTuSize」可為最大變換單元大小以及當前預測單元大小中的較小值。
若當前分區單元的預測模式為畫面內模式，則可藉由使用下文方程式(3)來判定「RootTuSize」。在方程式(3)中，「PartitionSize」表示當前分區單元的大小。
RootTuSize=min(MaxTransformSize,PartitionSize)...........(3)
亦即，若當前預測模式為畫面內模式，則在TU大小旗標為0時的變換單元大小「RootTuSize」可為最大變換單元大小以及當前分區單元的大小中的較小值。
然而，根據分區單元的預測模式的類型而變化的當前最大變換單元大小「RootTuSize」僅為一實例，且本發明不限於此。
包含參看圖1至圖13所述的具有樹狀結構的編碼單元的最大編碼單元被不同地稱為編碼區塊單元、區塊樹、根區塊樹、編碼樹、編碼根或樹狀主幹。
現將參看圖14至圖22來描述基於具有樹狀結構的編碼單元的可調式視訊編碼方法以及可調式視訊解碼方法。
圖14為根據本發明的實施例的可調式視訊編碼裝置1400的方塊圖。
根據本發明的實施例的可調式視訊編碼裝置1400包含較低層編碼器1410、較高層編碼器1420以及輸出單元1430。
根據實施例的較低層編碼器1410對分類為多個層的影像中的較低層影像做編碼。
根據本發明的實施例的可調式視訊編碼裝置1400可基於參看圖1至圖13所述的具有樹狀結構的編碼單元來對較低層影像做編碼。亦即，較低層編碼器1410可將較低層影像分割為最大編碼單元，基於自最大編碼單元階層式分割的編碼單元中的完全分 割的編碼單元而判定編碼模式，且輸出經編碼的資料。
如參看圖1至圖13所述，可藉由在空間上分割視訊影像而形成最大編碼單元，且可將每一最大編碼單元分割為多個編碼單元。在判定是否將編碼單元中的每一者分割為較小編碼單元時，可個別地且與鄰近編碼單元獨立地對編碼單元進行判定。
根據本發明的實施例的較高層編碼器1420對分類為多個層的影像中的較高層影像做編碼。
較高層編碼器1420可基於較高層影像的具有樹狀結構的編碼單元而輸出經編碼的較高層影像的資料。且，較高層編碼器1420可判定可調式編碼模式，所述可調式編碼模式是指示是否參考較低層影像以便對較高層影像做編碼的資訊。較高層編碼器1420可基於所判定的可調式編碼模式基於較低層影像的編碼資訊來預測較高層影像，且對較高層影像做編碼。
根據本發明的實施例的輸出單元1430可根據由較低層編碼器1410獲得的編碼結果而輸出所述較低層影像的編碼模式以及所預測值。輸出單元1430可輸出由較低層編碼器1410藉由針對最大編碼單元中的每一者基於具有樹狀結構的編碼單元來執行編碼而編碼的資料。
輸出單元1430可基於由較高層編碼器1420判定的可調式編碼模式根據編碼結果而輸出關於較高層影像的可調式編碼模式的資訊。同樣，輸出單元1430可根據由較高層編碼器1420針對最大編碼單元中的每一者基於具有樹狀結構的編碼單元而獲得 的編碼結果來選擇性地輸出編碼資訊。
可由較高層影像參考的較低層影像的編碼資訊可為藉由較低層影像的編碼而判定的各種資訊中的至少一者，諸如，經編碼的編碼模式、所預測值、語法、經重新建構的值等。根據實施例的關於經編碼的編碼模式的資訊可包含關於編碼單元的結構的資訊以及根據預測模式的預測資訊。關於編碼單元的結構的資訊可包含具有當前編碼單元的深度以及組態為當前編碼單元的編碼單元的群組格式中的至少一者。預測資訊可包含用於畫面內預測的分區形狀、畫面內索引、用於畫面間預測的分區形狀、運動向量、參考索引以及非零係數位置資訊(最後係數位置資訊)中的至少一者。根據實施例的所預測值可包含經量化的變換係數、根據畫面間預測的係數的差分值以及殘餘材料中的至少一者。
較高層編碼器1420可基於較低層影像的編碼模式中的關於編碼單元的結構的資訊以及關於包含於編碼單元中的變換單元的結構的資訊中的至少一者而對較高層影像做編碼。根據實施例的關於變換單元的結構的資訊可包含當前編碼單元的變換深度以及變換索引中的至少一者。
較高層編碼器1420可基於較低層影像的編碼模式中的預測模式、分區類型、運動資訊以及畫面內資訊中的至少一者來判定較高層影像的編碼模式。
較高層編碼器1420可基於較低層影像的編碼模式中的迴路濾波相關資訊、非零係數位置資訊、經重新建構的所預測值以 及經重新建構的紋理資訊來判定較高層影像的編碼模式。
舉例而言，在畫面內模式中，當前資料單元的經重新建構的所預測值可為藉由使用當前資料單元的空間上相鄰的資料單元的值來判定的所預測值。藉由畫面間預測而重新建構的當前資料單元的所預測值可為藉由使用較早重新建構的參考畫面執行運動補償而產生的所預測值。就此而言，舉例而言，可藉由使用在藉由調整較低層的經重新建構的影像而產生的影像中對應於較高層資料單元而安置的較低層資料單元的經重新建構的所預測值來判定較高層資料單元的所預測值。作為另一實例，可藉由使用藉由調整在較低層的經重新建構的影像中對應於較高層資料單元而安置的較低層資料單元的經重新建構的所預測值而獲得的值來判定較高層資料單元的所預測值。
較高層編碼器1420可基於較高層影像的所判定的編碼模式來對較高層影像做編碼。
根據實施例的較高層編碼器1420可基於較低層影像的編碼資訊中的殘餘資訊以及變換係數來判定較高層影像的殘餘資訊以及變換係數中的至少一者。
根據實施例的較高層編碼器1420可基於較低層影像的編碼資訊中的藉由執行畫面內預測或畫面間預測而產生的經重新建構的影像的經重新建構的值來判定較高層影像的經重新建構的值。
根據實施例的較高層編碼器1420可藉由使用藉由對較低 層影像做編碼而判定的編碼語法元素來判定較高層影像的編碼語法元素。
如上所述，較高層編碼器1420可基於藉由根據可調式編碼模式而使用較低層影像的編碼資訊來判定的較高層影像的編碼資訊來對較高層影像做編碼。
根據實施例的較高層編碼器1420可針對較高層影像的每一預定資料單元而判定可調式編碼模式。舉例而言，可針對每一圖像序列而個別地判定可調式編碼模式。作為另一實例，可針對每一圖像而個別地判定可調式編碼模式。作為另一實例，可針對每一畫面而個別地判定可調式編碼模式。作為另一實例，可針對每一圖塊(tile)而個別地判定可調式編碼模式。作為另一實例，可針對每一最大編碼單元而個別地判定可調式編碼模式。作為另一實例，可針對每一編碼單元而個別地判定可調式編碼模式。作為另一實例，可針對每一編碼單元的預定群組而個別地判定可調式編碼模式。
亦即，根據實施例的較高層編碼器1420可能或可能不根據每一資料單元的對應可調式編碼模式來執行層間預測。
根據實施例的輸出單元1430可輸出較低層影像的編碼模式以及所預測值。
根據實施例的輸出單元1430可輸出根據可調式編碼模式而輸出的較高層影像的不同資訊。
舉例而言，較高層編碼器1420可根據較高層影像的第一 可調式編碼模式而自較低層影像的編碼資訊推斷或預測較高層影像的編碼資訊。或者，較高層編碼器1420可根據第一可調式編碼模式而自較低層影像的編碼模式推斷或預測較高層影像的編碼資訊的一部分。
在此狀況下，輸出單元1430可根據第一可調式編碼模式而輸出自較高層影像的編碼資訊排除自較低層資訊推斷的資訊的編碼資訊。在此狀況下，接收端可基於較低層影像的編碼資訊而推斷或預測較高層影像的未經傳輸的編碼模式，同時將較高層影像的編碼資訊按照直接接收的狀態來使用。
作為另一實例，較高層編碼器1420可根據較高層影像的第二可調式編碼模式而自較低層影像的編碼資訊推斷或預測較高層影像的編碼資訊。
在此狀況下，輸出單元1430可僅輸出關於較高層影像的可調式編碼模式的資訊，且可並不根據第二可調式編碼模式而輸出較高層影像的編碼資訊。在此狀況下，接收端可自包含較低層影像的編碼模式、所預測值、語法以及經重新建構的值中的至少一者的編碼資訊推斷或預測較高層影像的編碼資訊。
根據實施例的較高層編碼器1420可基於所判定的可調式編碼模式而判定可由較高層影像的資料單元參考的較低層影像的資料單元。換言之，可判定映射至對應於較高層資料單元的位置的位置的較低層資料單元。較高層編碼器1420可藉由參考包含所判定的較低層資料單元的編碼模式、所預測值、語法以及經重新 建構的值中的至少一者的編碼資訊來對較高層影像進行預測以及編碼。
如參看圖1至圖13所述，較低層影像以及較高層影像的資料單元可包含較高層影像以及較低層影像中的每一者的最大編碼單元、編碼單元、包含於編碼單元中的預測單元、變換單元以及最小單元中的至少一者。
根據實施例的較高層編碼器1420可判定類型與較高層影像的當前資料單元的類型相同的較低層影像的資料單元。舉例而言，較高層影像的最大編碼單元可參考較低層影像的最大編碼單元。較高層影像的編碼單元可參考較低層影像的編碼單元。
根據實施例的較高層編碼器1420可判定群組類型與較高層影像的當前資料單元群組的群組類型相同的較低層影像的資料單元群組。舉例而言，較高層影像的編碼單元的群組可參考較低層影像的編碼單元的群組。較高層影像的變換單元的群組可參考較低層影像的變換單元的群組。可藉由使用可由較低層影像的資料單元群組參考的編碼資訊來對較高層影像的當前資料單元群組做編碼。
較高層編碼器1420可對作為影像資料單元的片段或圖塊執行可調式編碼。舉例而言，較高層編碼器1420可藉由參考包含對應於較高層影像的當前片段的位置的較低層影像的片段的編碼資訊來對較高層影像的當前片段做編碼。或者，較高層編碼器1420可藉由參考包含對應於較高層影像的當前圖塊的位置的較低層影 像的圖塊的資訊來對較高層影像的當前圖塊做編碼。
較高層編碼器1420可根據子像素層級的樣本的準確度來比較較高層影像與較低層影像之間的樣本以便判定對應於較高層影像的當前資料單元的較低層影像的資料單元。舉例而言，可搜尋對應於1/12像素層級的樣本位置處的較高層影像的較低層影像的樣本位置。在此狀況下，在較高層影像與較低層影像之間的兩倍升頻取樣(up-sampling)中，在1/4像素位置以及3/4像素位置處的子像素層級的樣本的準確度是必要的。在較高層影像與較低層影像之間的3/2倍升頻取樣的狀況下，在1/3像素位置以及2/3像素位置處的子像素層級的樣本準確度是必要的。
稍後將參看圖18來描述與在較低層影像與較高層影像之間的資料單元的映射相關的實施例。
較高層編碼器1420可判定對應於較高層影像的當前資料單元且類型不同於較低層影像中的當前資料單元群組的類型的資料單元。舉例而言，較高層影像的編碼單元可參考較低層影像的最大編碼單元。較高層影像的預測單元可參考較低層影像的編碼單元。可藉由參考較低層影像的資料單元的編碼資訊來對較高層影像的當前資料單元做編碼。
較高層編碼器1420可判定對應於較高層影像的當前資料單元群組且類型不同於較低層影像中的當前資料單元群組的類型的資料單元群組。舉例而言，較高層影像的預測單元的群組可參考較低層影像的編碼單元的群組。較高層影像的變換單元的群組 可參考較低層影像的編碼單元的群組。可藉由參考不同於較低層影像的資料單元群組的編碼資訊來對較高層影像的當前資料單元群組做編碼。
在針對較高層影像的當前資料單元而判定層間預測模式的狀況下，較高層編碼器1420可執行藉由參考較低層影像來對包含於當前資料單元中的較低層資料單元的一部分做編碼的層間預測，且對與較高層影像在同一層內的較低層資料單元的剩餘部分進行預測及編碼。
較高層編碼器1420可改善自較低層影像推斷的編碼資訊，且藉由參考經調整的編碼資訊來判定較高層影像的編碼資訊。可藉由使用較高層影像的所判定的編碼資訊來重新建構較高層影像。可對用於細微改善自較低層影像推斷的編碼資訊的改善資訊做編碼。
根據實施例的可調式視訊編碼裝置1400可基於具有樹狀結構的編碼單元來對較低層影像以及較高層影像做編碼，且因此可調式視訊編碼裝置1400可與根據實施例的視訊編碼裝置100相關。
舉例而言，可調式視訊編碼裝置1400的較低層編碼器1410可根據視訊編碼裝置100的最大編碼單元分割器110、編碼單元判定器120以及輸出單元130的操作基於具有樹狀結構的編碼單元來對較低層影像做編碼。編碼單元判定器120可關於資料單元(諸如，較低層影像的編碼單元、預測單元、變換單元以及 分區)而判定編碼模式。類似於輸出單元130，輸出單元1430可輸出編碼資訊，所述編碼資訊包含針對較低層影像的每一資料單元而判定的編碼模式以及經編碼的所預測值。
舉例而言，較高層編碼器1420可根據最大編碼單元分割器110、編碼單元判定器120以及輸出單元130的操作來執行編碼。雖然較高層編碼器1420的編碼操作類似於編碼單元判定器120的操作，但可參考較低層影像的編碼資訊以便基於可調式編碼模式來判定較高層影像的編碼資訊。雖然輸出單元1430的操作類似於輸出單元130的操作，但輸出單元1430可並不基於可調式編碼模式來選擇性地對較高層影像的編碼資訊做編碼。
根據實施例的可調式視訊編碼裝置1400可包含中央處理器(未圖示)，所述中央處理器整體控制較低層編碼器1410、較高層編碼器1420以及輸出單元1430。或者，較低層編碼器1410、較高層編碼器1420以及輸出單元1430可藉由其各別處理器(未圖示)來操作，且可調式視訊編碼裝置1400可根據處理器(未圖示)的互動來整體操作。或者，較低層編碼器1410、較高層編碼器1420以及輸出單元1430可根據可調式視訊編碼裝置1400的外部處理器(未圖示)的控制而受到控制。
根據實施例的可調式視訊編碼裝置1400可包含一或多個資料儲存單元(未圖示)，所述資料儲存單元中儲存了較低層編碼器1410、較高層編碼器1420以及輸出單元1430的輸入及輸出資料。視訊編碼裝置100可包含記憶體控制單元(未圖示)，所述記 憶體控制單元觀察資料儲存單元(未圖示)的資料輸入及輸出。
根據實施例的可調式視訊編碼裝置1400可結合內部視訊編碼處理器或外部視訊編碼處理器而操作以便輸出視訊編碼結果，藉此執行包含變換的視訊編碼操作。根據實施例的可調式視訊編碼裝置1400的內部視訊編碼處理器可由中央處理器或圖形處理器以及獨立處理器實施。
圖15為根據本發明的實施例的可調式視訊解碼裝置1500的方塊圖。
根據實施例的可調式視訊解碼裝置1500包含剖析單元1510、較低層解碼器1520以及較高層解碼器1530。
可調式視訊解碼裝置1500可接收儲存經編碼的視訊資料的位元串流。剖析單元1510可自所接收的位元串流剖析較低層影像的編碼資訊以及較高層影像的可調式編碼模式。
較低層解碼器1520可使用較低層影像的所剖析的編碼資訊來對較低層影像做解碼。在可調式視訊解碼裝置1500基於具有樹狀結構的編碼單元來對影像做解碼的狀況下，較低層解碼器1520可針對較低層影像的每一最大編碼單元基於具有樹狀結構的編碼單元來執行解碼。
較高層解碼器1530可根據關於較高層影像的可調式編碼模式的所剖析的資訊藉由參考較高層影像的編碼資訊(亦即，編碼資訊)來對較高層影像執行預測而對較高層影像做解碼。同樣，較高層解碼器1530可針對較高層影像的每一最大編碼單元基於具 有樹狀結構的編碼單元來執行解碼。
舉例而言，較高層解碼器1530可藉由參考較低層影像的編碼模式中的關於編碼單元的結構的資訊以及關於包含於編碼單元中的變換單元的結構的資訊中的至少一者而判定較高層影像的編碼模式。
舉例而言，較高層解碼器1530可藉由參考較低層影像的編碼模式中的預測模式資訊、分區類型資訊、運動資訊以及畫面內資訊中的至少一者來判定較高層影像的編碼模式。
舉例而言，較高層解碼器1530可藉由參考較低層影像的編碼模式中的迴路濾波相關資訊、非零係數位置資訊、經重新建構的預測資訊以及經重新建構的紋理資訊中的至少一者來判定較高層影像的編碼模式。
較高層解碼器1530可藉由參考較低層影像的編碼模式基於較高層影像的所判定的編碼模式來對較高層影像做解碼。
舉例而言，較高層解碼器1530可藉由參考較低層影像的編碼模式中的殘餘資訊、係數資訊以及經重新建構的所預測值中的至少一者來判定較高層影像的所預測值。較高層解碼器1530可基於較高層影像的所判定的預測值來對較高層影像做解碼。
剖析單元1510可基於第一可調式編碼模式而將排除自較低層影像的編碼模式推斷的資訊的資訊剖析為較高層影像的編碼模式。在此狀況下，較高層解碼器1530可自較低層影像的編碼模式推斷或預測關於較高層影像的編碼模式的未經剖析的資訊。
或者，剖析單元1510可基於第一可調式編碼模式而將排除自較低層影像的所預測值推斷的資訊的資訊剖析為較高層影像的所預測值。在此狀況下，較高層解碼器1530可自較低層影像的所預測值推斷或預測關於較高層影像的所預測值的未經剖析的資訊。
剖析單元1510可僅剖析指示較高層影像為第二可調式編碼模式的可調式編碼模式資訊。在此狀況下，較高層解碼器1530可自較低層影像的編碼資訊推斷或預測較高層影像的編碼資訊。
較高層解碼器1530可根據關於自位元串流剖析的較高層影像的可調式編碼模式的資訊而判定可由較高層影像的資料單元參考的較低層影像的資料單元。亦即，可判定映射至對應於較高層影像的資料單元的位置的位置的較低層影像的資料單元。較高層解碼器1530可藉由參考較低層影像的所判定的資料單元的編碼資訊來對較高層影像做解碼。可藉由基於具有樹狀結構的編碼單元進行預測來對較高層影像做解碼。
較高層解碼器1530可根據子像素層級的樣本準確度來搜尋對應於較高層影像的樣本的較低層影像的樣本位置，以便判定對應於較高層影像的當前資料單元的較低層影像的資料單元。
較高層解碼器1530可判定對應類型與較高層影像的當前資料單元的類型相同的較低層影像的資料單元。較高層解碼器1530可藉由參考較低層影像的所判定的資料單元的編碼資訊來判定較高層影像的當前資料單元的編碼資訊，且藉由使用當前資料 單元的所判定的編碼資訊來對當前資料單元做解碼。
較高層解碼器1530可判定對應群組類型與較高層影像的當前資料單元群組的群組類型相同的較低層影像的資料單元群組。較高層解碼器1530可藉由參考較低層影像的所判定的資料單元群組的編碼資訊來判定較高層影像的當前資料單元群組的編碼資訊，且藉由使用當前資料單元群組的編碼資訊來對當前資料單元群組做解碼。
較高層解碼器1530可藉由參考較低層影像的當前片段資訊以及圖塊資訊中的至少一者來判定較高層影像的當前片段資訊以及圖塊資訊中的至少一者。
較高層解碼器1530可判定對應類型不同於較高層影像的當前資料單元的類型的較低層影像的資料單元，且藉由參考較低層影像的資料單元的編碼資訊來判定較高層影像的當前資料單元的編碼資訊。舉例而言，可藉由按原樣使用較低層影像的預定編碼單元的編碼資訊來判定較高層影像的當前最大編碼單元的編碼資訊。
較高層解碼器1530可判定對應類型不同於較高層影像的當前資料單元群組的類型的較低層影像的資料單元群組，且藉由參考較低層影像的資料單元群組的編碼資訊來判定較高層影像的當前資料單元群組的編碼資訊。舉例而言，可藉由按原樣使用較低層影像的預定編碼單元群組的編碼資訊來判定較高層影像的當前最大編碼單元群組的編碼資訊。
在針對較高層影像的當前資料單元而判定層間預測模式的狀況下，較高層解碼器1530可藉由參考較低層影像來對包含於當前資料單元中的較低層資料單元的一部分做解碼，且對與較高層影像在同一層內的較低層資料單元的剩餘部分做解碼。
較高層解碼器1530可校正自較低層影像推斷的編碼資訊，且藉由參考經校正的編碼資訊來判定較高層影像的編碼資訊。較高層解碼器1530可藉由使用較高層影像的所判定的編碼資訊來復原較高層影像。剖析單元1510可剖析改善資訊。較高層解碼器1530可基於所剖析的改善資訊來改善自較低層影像推斷的編碼資訊。
根據實施例的可調式視訊解碼裝置1500可基於具有樹狀結構的編碼單元來對較低層影像以及較高層影像做解碼，且因此可調式視訊解碼裝置1500可與根據實施例的視訊解碼裝置120相關。
舉例而言，可調式視訊解碼裝置1500的剖析單元1510可根據視訊解碼裝置200的接收器210以及影像資料以及編碼資訊提取器220的操作來接收位元串流並剖析較低層影像的編碼資訊以及較高層影像的編碼資訊。剖析單元1510可關於資料單元(諸如，較低層影像的編碼單元、預測單元、變換單元以及分區)而剖析編碼資訊。然而，剖析單元1510可並不基於可調式編碼來選擇性地剖析較高層影像的編碼資訊。
舉例而言，較低層解碼器1520可類似於視訊解碼裝置 200的影像資料解碼器230的操作藉由使用所剖析的編碼資訊基於具有樹狀結構的編碼單元來對較低層影像做解碼。
類似於視訊解碼裝置200的影像資料解碼器230的操作，較高層解碼器1530可藉由使用所剖析的編碼資訊基於具有樹狀結構的編碼單元來對較高層影像做解碼。然而，較高層解碼器1530可基於可調式編碼模式藉由參考較低層影像的編碼資訊來判定較高層影像的編碼資訊以執行解碼。
根據實施例的可調式視訊解碼裝置1500可包含中央處理器(未圖示)，所述中央處理器整體控制剖析單元1510、較低層解碼器1520以及較高層解碼器1530。或者，剖析單元1510、較低層解碼器1520以及較高層解碼器1530可藉由其各別處理器(未圖示)來操作，且可調式視訊解碼裝置1500可根據處理器(未圖示)的互動來整體操作。或者，剖析單元1510、較低層解碼器1520以及較高層解碼器1530可根據可調式視訊解碼裝置1500的外部處理器(未圖示)的控制而受到控制。
根據實施例的可調式視訊解碼裝置1500可包含一或多個資料儲存單元(未圖示)，所述資料儲存單元中儲存了可調式視訊解碼裝置1500的輸入及輸出資料。可調式視訊解碼裝置1500可包含記憶體控制單元(未圖示)，所述記憶體控制單元觀察資料儲存單元(未圖示)的資料輸入及輸出。
根據實施例的可調式視訊解碼裝置1500可結合內部視訊編碼處理器或外部視訊編碼處理器而操作以便經由視訊解碼來復 原視訊，藉此執行包含逆變換的視訊解碼操作。根據實施例的可調式視訊解碼裝置1500的內部視訊編碼處理器可由中央處理器或圖形處理器以及獨立處理器實施。
根據實施例的可調式視訊編碼裝置1400或可調式視訊解碼裝置1500可針對每一序列、片段或圖像而判定層間預測方法。舉例而言，可獨立地判定第一圖像(或序列或片段)的層間預測方法以及第二圖像的層間預測方法。
在推斷式層間預測中，可藉由參考較低層資料單元的兩段或兩段以上編碼資訊而預測較高層資料單元的編碼資訊。亦即，判定待參考的兩段或兩段以上編碼資訊。舉例而言，可藉由直接使用針對較低層資料單元而判定的一系列編碼資訊來判定較高層資料單元的編碼資訊。在可調式視訊編碼裝置1400對較高層資料單元執行推斷式層間預測的狀況下，可調式視訊解碼裝置1500亦可判定對應於較高層影像的較低層資料單元，且接著藉由直接使用較低層資料單元的一系列預定編碼資訊來判定較高層資料單元的編碼資訊。
為了進行層間預測，可按照經校正的格式或按照較低準確度來使用較低層資料單元的編碼資訊。舉例而言，為了預測較高層資料單元的運動向量，可按照具體像素層級(如整數像素層級或1/2像素層級的子像素層級)的較低準確度來使用較低層分區的運動向量。作為另一實例，可將多個較低層分區的運動向量合併為一個運動向量且接著用作較高層資料單元的運動向量。
現將參看圖16至圖22來詳細描述可調式視訊編碼裝置1400以及可調式視訊解碼裝置1500的層間預測方法。
圖16為根據本發明的實施例的可調式視訊編碼系統1600的方塊圖。
可調式視訊編碼系統1600可包含較低層編碼端1610、較高層編碼端1660以及位於較低層編碼端1610與較高層編碼端1660之間的層間預測端1650。較低層編碼端1610以及較高層編碼端1660可分別說明較低層編碼器1410以及較高層編碼器1420的詳細結構。
可調式視訊編碼方法可根據時間特性及品質特性(諸如，影像品質)以及空間特性(諸如，解析度)來對多層影像進行分類。為便於描述，現將描述可調式視訊編碼系統1600根據影像解析度來獨立地將低解析度影像編碼為較低層影像且將高解析度影像編碼為較高層影像的狀況。
較低層編碼端1610接收低解析度影像序列的輸入，且對低解析度影像序列的每一低解析度影像做編碼。較高層編碼端1660接收高解析度影像序列的輸入，且對高解析度影像序列的每一高解析度影像做編碼。稍後將同時描述由較低層編碼端1610與較高層編碼端1660兩者執行的共同操作。
區塊分割器1618及1668將輸入影像(低解析度影像以及高解析度影像)分割為最大編碼單元、編碼單元、預測單元以及變換單元。為了對自區塊分割器1618及1668輸出的編碼單元 做編碼，可對編碼單元的每一預測單元執行畫面內預測或畫面間預測。根據每一預測單元的預測模式是畫面內預測模式或是畫面間預測模式，預測切換器1648及1698可藉由參考自運動補償器1640及1690輸出的先前重新建構的影像來執行畫面間預測，或可藉由使用自畫面內預測器1645及1695輸出的當前輸入影像內的當前預測單元的相鄰預測單元來執行畫面內預測。可經由畫面間預測針對每一預測單元產生殘餘資訊。
預測單元與周邊影像之間的殘餘資訊針對編碼單元的每一預測單元而輸入至變換器/量化器1620及1670。變換器/量化器1620及1670可針對每一變換單元而執行變換以及量化，且基於編碼單元的變換單元來輸出經量化的變換係數。
調整器/逆變換器1625及1675可再次針對編碼單元的每一變換單元而對經量化的係數執行調整及逆變換，且產生空間域的殘餘資訊。在預測切換器1648及1698被控制為畫面間模式的狀況下，殘餘資訊可與先前的經重新建構的影像或相鄰預測單元組合，以使得包含當前預測單元的經重新建構的影像可產生，且當前的經重新建構的影像可儲存於儲存單元1630及1680中。根據接著將編碼的預測單元的預測模式，當前的經重新建構的影像可再次傳送至畫面內預測器1645及1695以及運動補償器1640及1690。
特定言之，在畫面間模式中，迴路內濾波器1635及1685可針對每一編碼單元而對儲存於儲存單元1630及1680中的當前 的經重新建構的影像執行解區塊濾波、樣本適應性偏移(SAO)操作以及適應性迴路濾波(adaptive loop filtering；ALF)中的至少一者。可對編碼單元、包含於編碼單元中的預測單元以及變換單元中的至少一者執行解區塊濾波、SAO操作以及ALF濾波中的至少一者。
解區塊濾波是用於減少資料單元的區塊假影(blocking artifact)的濾波。SAO操作是用於補償由資料編碼及解碼修改的像素值的濾波。ALF濾波是用於將經重新建構的影像與原始影像之間的均方誤差(mean squared error；MSE)最小化的濾波。由迴路內濾波器1635及1685濾波的資料可針對每一預測單元而傳送至運動補償器1640及1690。為了再次對自區塊分割器1618及1668輸出的具有下一序列的編碼單元做編碼，可產生自運動補償器1640及1690以及區塊分割器1618及1668輸出的當前的經重新建構的影像與下一編碼單元之間的殘餘資訊。
可按照與上文所述相同的方式重複地執行輸入影像的每一編碼單元的上述編碼操作。
較高層編碼端1660可參考儲存於較低層編碼端1610的儲存單元1630中的經重新建構的影像以進行層間預測。較低層編碼端1610的編碼控制單元1615可控制較低層編碼端1610的儲存單元1630且將較低層編碼端1610的經重新建構的影像傳送至較高層編碼端1660。層間預測端1650的迴路內濾波器1655可對自較低層編碼端1610的儲存單元1630輸出的較低層的經重新建構 的影像執行解區塊濾波、SAO濾波以及ALF濾波中的至少一種濾波。在較低層影像以及較高層影像具有不同解析度的狀況下，層間預測端1650可對較低層的經重新建構的影像進行升頻取樣，且將其傳送至較高層編碼端1660。在根據較高層編碼端1660的切換器1698的控制而執行層間預測的狀況下，可藉由參考經由層間預測端1650而傳送的較低層的經重新建構的影像而執行較高層影像的層間預測。
為進行影像編碼，可針對編碼單元、預測單元以及變換單元而設定不同編碼模式。舉例而言，可針對編碼單元而將深度或分割旗標設定為編碼模式。可針對預測單元而將預測模式、分區類型、畫面內方向旗標、參考清單旗標設定為編碼模式。可將變換深度或分割旗標設定為變換單元的編碼模式。
較低層編碼端1610可根據藉由應用編碼單元的不同深度、預測單元的不同預測模式、不同分區類型、不同畫面內方向、不同參考清單以及變換單元的不同變換深度執行編碼而獲得的結果，來判定具有最高編碼效率的編碼深度、預測模式、分區類型、畫面內方向及參考清單以及變換深度。然而，本發明不限於由較低層編碼端1610判定的上述編碼模式。
較低層編碼端1610的編碼控制單元1615可控制待適當地應用於部件的操作的不同編碼模式。針對較高層編碼端1660的可調式視訊編碼，編碼控制單元1615可控制較高層編碼端1660藉由參考較低層編碼端1610的編碼結果來判定編碼模式或殘餘資 訊。
舉例而言，較高層編碼端1660可將較低層編碼端1610的編碼模式用作較高層影像的編碼模式，或可藉由參考較低層編碼端1610的編碼模式來判定較高層影像的編碼模式。較低層編碼端1610的編碼控制單元1615可控制較低層編碼端1610的編碼控制單元1615的控制信號，且為了判定較高層編碼端1660的當前編碼模式，可基於較低層編碼端1610的編碼模式來使用當前編碼模式。
類似於根據圖16的層間預測方法的可調式視訊編碼系統1600，亦可實施根據層間預測方法的可調式視訊解碼系統。亦即，可調式視訊解碼系統可接收較低層位元串流以及較高層位元串流。可調式視訊解碼系統的較低層解碼端可對較低層位元串流做解碼以產生較低層的經重新建構的影像。可調式視訊解碼系統的較高層解碼端可對較高層位元串流做解碼以產生較高層的經重新建構的影像。
圖17為用於解釋根據本發明的實施例的層間預測方法的圖式。
在執行較高層影像的可調式視訊編碼的狀況下，較低層影像的編碼模式可用於設定是否執行對較高層影像做編碼的層間預測1710。若執行層間預測1710，則可執行層間畫面內預測1720或第一層間運動預測1730。若不執行層間預測1710，則可執行第二層間運動預測1740或除層間運動預測之外的預測1750。
在執行較高層影像的可調式視訊編碼的狀況下，無關於是否執行層間預測1710，可執行層間殘餘預測1760或一般殘餘預測1770。
舉例而言，根據層間畫面內預測1720，可藉由參考對應於較高層影像的較低層影像的樣本值來預測較高層影像的樣本值。根據第一層間運動預測1730，可將對應於較高層影像的較低層影像的畫面間預測的預測單元的分區類型、參考索引以及運動向量用作較高層影像的畫面間模式。參考索引指示由包含於參考清單中的參考影像中的每一影像參考的序列。
舉例而言，根據第二層間運動預測1740，可將較低層影像的畫面間預測的編碼模式稱為較高層影像的編碼模式。舉例而言，雖然可藉由採用較低層影像的參考索引來判定較高層影像的參考索引，但可藉由參考較低層影像的運動向量來預測較高層影像的運動向量。
舉例而言，根據除層間運動預測之外的預測1750，無關於較低層影像的編碼結果，可藉由參考較高層影像序列的其他影像來執行較高層影像的運動預測。
在執行較高層影像的可調式視訊編碼的狀況下，無關於是否執行層間預測1710，可執行層間殘餘預測1760或一般殘餘預測1770。
根據層間殘餘預測1760，可藉由參考較低層影像的殘餘資訊來預測較高層影像的殘餘資訊。根據一般殘餘預測1770，可 藉由參考較高層影像序列的其他影像來預測當前較高層影像的殘餘資訊。
如參看圖17所述，針對較高層影像的可調式視訊編碼，可執行較低層影像與較高層影像之間的層間預測。根據層間預測，可選擇性地執行藉由使用較低層影像的編碼模式來判定較高層影像的編碼模式的層間模式預測、藉由使用較低層影像的殘餘資訊來判定較高層影像的殘餘資訊的層間殘餘預測，以及僅在較低層影像處於畫面內模式中時藉由參考較低層影像來以預測對較高層影像做編碼的層間畫面內預測。
針對根據實施例的每一編碼單元或預測單元，亦可判定執行層間模式預測、層間殘餘預測或是層間畫面內預測。
作為另一實例，若判定每一分區的參考清單，則可判定是否針對每一參考清單而執行層間運動預測。
舉例而言，若判定畫面間模式的每一分區的參考清單，則可判定是否針對每一參考清單而執行層間運動預測。
舉例而言，在對較高層影像的當前編碼單元(預測單元)執行層間模式預測的狀況下，可將對應於較低層影像的編碼單元(預測單元)的預測模式判定為較高層影像的當前編碼單元(預測單元)的預測模式。
為便於描述，較高/較低層影像的當前編碼單元(預測單元)可被稱為較高/較低層資料單元。
亦即，當在畫面內模式中對較低層資料單元做編碼時， 可針對較高層資料單元而執行層間畫面內預測。若在畫面間模式中對較低層資料單元做編碼，則可針對較高層資料單元而執行層間運動預測。
然而，在畫面間模式中對對應於較高層資料單元的位置處的較低層資料單元做編碼的狀況下，可進一步判定是否針對較高層資料單元而執行層間殘餘預測。在畫面間模式中對較低層資料單元做編碼且執行層間殘餘預測的狀況下，可藉由使用較低層資料單元的殘餘資訊來預測較高層資料單元的殘餘資訊。雖然在畫面間模式中對較低層資料單元做編碼，但若不執行層間殘餘預測，則可藉由並不參考較低層資料單元的殘餘資訊，而是藉由較高層資料單元之間的運動預測來判定較高層資料單元的殘餘資訊。
在不對較高層資料單元執行層間模式預測的狀況下，可根據較高層資料單元的預測模式是跳過模式、畫面間模式或是畫面內模式而判定層間預測方法。舉例而言，在畫面間模式的較高層資料單元中，可判定是否針對分區的每一參考清單而執行層間運動預測。在畫面內模式的較高層資料單元中，可判定是否執行層間畫面內預測。
針對每一資料單元，可選擇性地判定執行層間預測、執行層間殘餘預測或是層間畫面內預測。舉例而言，可調式視訊編碼裝置1400可預先設定是否針對每一片段而對當前片段的資料單元執行層間預測。可調式視訊解碼裝置1500可根據可調式視訊編 碼裝置1400是否執行層間預測來判定是否針對每一片段而對當前片段的資料單元執行層間預測。
作為另一實例，可調式視訊編碼裝置1400可預先設定是否針對每一片段而對當前片段的資料單元執行層間運動預測。可調式視訊解碼裝置1500可根據可調式視訊編碼裝置1400是否執行層間運動預測來判定是否針對每一片段而對當前片段的資料單元執行層間運動預測(補償)。
作為另一實例，可調式視訊編碼裝置1400可預先設定是否針對每一片段而對當前片段的資料單元執行層間殘餘預測。可調式視訊解碼裝置1500可根據可調式視訊編碼裝置1400是否執行層間殘餘預測來判定是否針對每一片段而對當前片段的資料單元執行層間殘餘預測(重新建構)。
現將在下文進一步描述較高層資料單元的每一層間預測的詳細操作。
可調式視訊編碼裝置1400可設定是否針對每一較高層資料單元而執行層間模式預測。在針對每一較高層資料單元而執行層間模式預測的狀況下，可僅傳輸較高層資料單元的殘餘資訊，且可並不傳輸編碼模式。
可調式視訊解碼裝置1500可根據可調式視訊編碼裝置1400是否針對每一較高層資料單元而執行層間模式預測來判定是否針對每一較高層資料單元而執行層間模式預測。基於是否執行層間模式預測，可判定是否將較低層資料單元的編碼模式用作較 高層資料單元的編碼模式。在執行層間模式預測的狀況下，可調式視訊解碼裝置1500可藉由使用較低層資料單元的編碼模式而判定較高層資料單元的編碼單元，而不接收及讀取較高層資料單元的編碼模式。在此狀況下，可調式視訊解碼裝置1500可僅接收及讀取較高層單元的殘餘資訊。
若藉由執行層間模式預測而在畫面內模式中對對應於較高層資料單元的較低層資料單元做編碼，則可調式視訊解碼裝置1500可對較高層資料單元執行層間畫面內預測。
可首先在畫面內模式中對較低層資料單元的經重新建構的影像執行解區塊濾波。
可對對應於較低層資料單元的解區塊濾波得以執行的較高層資料單元的經重新建構的影像的一部分進行升頻取樣。舉例而言，可經由4分接頭取樣而對較高層資料單元的明度分量進行升頻取樣，且可經由雙線性濾波(bilinear filtering)而對較高層資料單元的色度分量進行升頻取樣。
可跨越預測單元的分區邊界來執行升頻取樣濾波。然而，若不對相鄰資料單元執行畫面內編碼，則可藉由將當前資料單元的邊界區域的分量擴展至邊界區域的外部且產生升頻取樣濾波所必須的樣本而對較低層資料單元進行升頻取樣。
若藉由執行層間模式預測而在畫面間模式中對對應於較高層資料單元的較低層資料單元做編碼，則可調式視訊解碼裝置1500可對較高層資料單元執行層間運動預測。
首先，可參考畫面間模式的較低層資料單元的分區類型、參考索引以及運動向量。可對對應較低層資料單元進行升頻取樣，以使得可判定較高層資料單元的分區類型。舉例而言，若較低層分區的大小為M×N，則可將較低層分區被升頻取樣的大小為2M×2N的分區判定為較高層分區。
可按照與較低層分區的參考索引相同的方式來判定針對較高層分區而升頻取樣的分區的參考索引。可藉由按照與升頻取樣率相同的比率擴展較低層分區的運動向量來獲得針對較高層分區而升頻取樣的分區的運動向量。
若較高層資料單元被判定為畫面間模式，則可調式視訊解碼裝置1500可判定是否對較高層資料單元執行層間運動預測，而不執行層間模式預測。
可判定是否針對較高層分區的每一參考清單而執行層間運動預測。在執行層間運動預測的狀況下，可調式視訊解碼裝置1500可藉由參考較低層分區的對應參考索引以及運動向量而判定較高層分區的參考索引以及運動向量。
在較高層資料單元被判定為畫面內模式而不執行層間模式預測的狀況下，可調式視訊解碼裝置1500可判定是否針對較高層資料單元的每一分區而執行層間畫面內預測。
在執行層間畫面內預測的狀況下，對對應於較高層資料單元的較低層資料單元被解碼的經重新建構的影像執行解區塊濾波，且對經解區塊濾波的經重新建構的影像執行升頻取樣。舉例 而言，4分接頭取樣濾波器可用於明度分量的升頻取樣，且雙線性濾波器可用於色度分量的升頻取樣。
可藉由參考自較低層資料單元升頻取樣的經重新建構的影像來在畫面內模式中預測較高層資料單元而產生較高層資料單元的預測影像。可藉由組合較高層資料單元的預測影像與較高層資料單元的殘餘影像而產生較高層資料單元的經重新建構的影像。可對所產生的經重新建構的影像執行解區塊濾波。
根據實施例的層間預測可被限制為在具體條件下執行。舉例而言，可存在受限式層間畫面內預測，所述受限式層間畫面內預測僅在畫面內模式中對較低層資料單元做編碼的條件得以滿足時使用較低層資料單元的經升頻取樣的經重新建構的影像。然而，在上述限制條件未得以滿足的狀況下或在多迴路解碼的狀況下，可調式視訊解碼裝置1500可根據可調式視訊編碼裝置1400是否執行層間畫面內預測而完全執行層間畫面內預測。
若在畫面間模式中對對應於較高層資料單元的位置處的較低層資料單元做編碼，則可調式視訊解碼裝置1500可判定是否對較高層資料單元執行層間殘餘預測。可判定是否執行層間殘餘預測而無關於層間模式預測。
若較高層資料單元為跳過模式，則由於可能未執行層間殘餘預測，因此不必判定是否執行層間殘餘預測。若可調式視訊解碼裝置1500不執行層間殘餘預測，則較高層影像可用於將當前較高層預測單元解碼為一般畫面間模式。
在執行層間殘餘預測的狀況下，可調式視訊解碼裝置1500可針對較高層資料單元的每一資料單元而對較低層資料單元的殘餘資訊進行升頻取樣及參考。舉例而言，可經由雙線性濾波而對變換單元的殘餘資訊進行升頻取樣。
自較低層資料單元升頻取樣的殘餘資訊可與預測影像(其中，在較高層資料單元間補償運動以藉由層間殘餘預測而產生預測影像)組合。因此，可新產生較高層資料單元的原始影像與藉由層間殘餘預測而產生的預測影像之間的殘餘影像。相對而言，可調式視訊解碼裝置1500可藉由讀取較高層資料單元的層間殘餘預測的殘餘影像且組合所讀取的殘餘影像、自較低層資料單元升頻取樣的殘餘資訊以及在較高層資料單元間補償運動的預測影像而產生經重新建構的影像。
作為層間預測的實施例，上文已描述較高層資料單元的層間模式預測、層間殘餘預測以及層間畫面內預測的詳細操作。然而，層間預測的上述實施例適用於可調式視訊編碼裝置1400以及可調式視訊解碼裝置1500，且本發明的層間預測不限於此。
<可在層間預測中參考的編碼資訊>
現將在下文描述可經由層間預測而在較低層影像與較高層影像之間參考的編碼資訊的不同實施例(特定言之，包含具有樹狀結構的編碼單元的較低層資料單元的編碼資訊的不同實施例)以及編碼單元的預測單元、分區以及變換單元。
可藉由參考較低層最大編碼單元的編碼資訊來判定較高 層最大編碼單元的編碼資訊。
在具有樹狀結構的編碼單元中，可藉由參考較低層資料單元的編碼資訊來判定較高層資料單元的編碼資訊。
在包含具有樹狀結構的編碼單元的分割資訊或分割深度的關於編碼單元的結構的資訊中，可藉由參考關於較低層編碼單元的結構的資訊而判定關於較高層編碼單元的結構的資訊。舉例而言，可藉由採用關於包含於較低層影像的最大編碼單元中的對應於較高層最大編碼單元的最大編碼單元中的編碼單元的結構的資訊來判定關於較高層影像的當前編碼單元的結構的資訊。因此，包含於較高層最大編碼單元中的具有樹狀結構的編碼單元可具有類型與較低層最大編碼單元的具有樹狀結構的編碼單元的類型相同的樹狀結構。
作為另一實例，可將關於較低層編碼單元的結構的資訊應用於較高層編碼單元的樹狀結構的一部分。舉例而言，在包含於較高層最大編碼單元中的具有樹狀結構的編碼單元中，可參考關於較低層編碼單元的結構的資訊，以便關於自最大編碼單元分割的4個矩形區域中的左下方區域而判定編碼單元的結構。作為另一實例，在包含於較高層最大編碼單元中的具有樹狀結構的編碼單元中，可自關於較低層編碼單元的結構的資訊推斷藉由包含最大編碼單元而具有最小分割次數的編碼單元的結構。
在包含具有樹狀結構的變換單元的分割資訊或分割深度的關於變換單元的結構的資訊中，可自關於較低層變換單元的結 構的資訊推斷關於較高層變換單元的結構的資訊。關於較低層變換單元的結構的資訊可用於較高層變換單元的樹狀結構的一部分中。具體實施例類似於與上文所述的關於編碼單元的結構的資訊相關的實施例。
在指示預測單元或分區的畫面間模式、畫面內模式、跳過模式或合併資訊的預測模式中，可自較低層預測單元(分區)的預測模式推斷較高層預測單元(分區)的預測模式。
在指示預測單元或分區的大小(例如，2N×2N、2N×N、N×2N、N×N或非對稱形狀的分區的大小)的分區類型中，可自較低層預測單元(分區)的分區類型推斷較高層預測單元(分區)的分區類型。
在變換單元的殘餘資訊中，可藉由參考較低層變換單元的殘餘資訊而推斷較高層變換單元的殘餘資訊。作為另一實例，可自較低層變換單元的殘餘資訊僅推斷較高層變換單元的殘餘資訊的一部分。
在變換單元的變換係數值中，可藉由參考較低層變換單元的變換係數值而推斷較高層變換單元的變換係數值。且，可自較低層變換單元的變換係數值僅推斷較高層變換單元的變換係數值的一部分。舉例而言，可自較低層變換單元的變換係數值僅推斷較高層變換單元的變換係數值的DC分量或僅推斷低頻分量的預定數目的變換係數值。
在變換單元的變換係數的位置中，可自較低層變換單元 的非零變換係數的位置判定較高層變換單元的非零變換係數的位置。
在經重新建構的紋理資訊中，可藉由參考較低層資料單元的經重新建構的紋理資訊而判定較高層資料單元的紋理資訊。
較低層資料單元的經重新建構的所預測值(例如，在畫面內模式中藉由使用當前資料單元的空間上相鄰的資料單元的值來判定的所預測值)以及在畫面間預測中藉由使用首先重新建構的參考畫面來執行運動補償而產生的所預測值可用作較高層資料單元的所預測值。
可藉由參考畫面間模式的較低層預測單元的畫面間預測相關資訊來判定較高層預測單元的畫面間預測相關資訊。舉例而言，可針對層間預測來參考的畫面間預測相關資訊可包含運動向量、運動向量差分值mvd、參考索引以及畫面間預測方向(單向/雙向)。且，諸如預測單元的合併索引以及進階運動向量預測(advanced motion vector prediction；AMVP)索引的運動競爭方案資訊可被稱為畫面間預測相關資訊。
可基於畫面內模式的較低層預測單元的畫面內預測相關資訊來判定較高層預測單元的畫面內預測相關資訊。舉例而言，可由層間預測參考的畫面內預測相關資訊可包含線性模式(linear mode；LM)以及推導模式(derivation mode；DM)作為明度與色度之間的預測模式。LM為自鄰近於當前資料單元的相鄰資料單元的像素以及當前資料單元的經重新建構的明度色度像素判定色度 分量像素的預測的預測模式。DM為明度分量的預測模式用作色度分量的預測模式的預測模式。
可藉由參考較低層資料單元的迴路濾波器參數來判定較高層資料單元的迴路濾波器參數。舉例而言，可針對層間預測而參考的迴路濾波器參數可包含用於關於樣本而適應性地設定偏移的SAO方法的SAO類型參數、具有除0之外的級區偏移(band offset；BO)的級區(band)的位置、邊緣偏移值以及級區偏移值。可由層間預測參考的迴路濾波器參數可包含適應性迴路濾波(ALF)的濾波器分類資訊、濾波器係數以及濾波開/關旗標。
可藉由使用藉由對較低層影像做編碼而判定的編碼語法來判定較高層影像的編碼語法。
上文描述可針對層間預測而參考的編碼資訊的不同實施例。然而，可針對層間預測而由根據實施例的可調式視訊編碼裝置1400以及根據實施例的可調式視訊解碼裝置1500參考的編碼資訊不限於上述實施例。
根據實施例的可調式視訊編碼裝置1400以及根據實施例的可調式視訊解碼裝置1500可針對每一序列、片段或圖像而獨立地控制層間預測。舉例而言，藉由針對第一圖像(或序列或片段)中的層間預測而參考較低層資料單元的第一編碼資訊來判定較高層資料單元的第一編碼資訊，而藉由針對第二圖像(或序列或片段)中的層間預測而參考較低層資料單元的第二編碼資訊來判定較高層資料單元的第二編碼資訊。
未獨立地參考較低層資料單元的上文列出的編碼資訊，且可藉由參考較低層資料單元的兩個或兩個以上編碼資訊的組合來預測較高層資料單元的編碼資訊。
<推斷式層間預測方法>
藉由參考較低層資料單元的兩個或兩個以上編碼資訊的組合來判定較高層資料單元的編碼資訊的預測方法被稱為推斷式層間預測方法。
舉例而言，在判定較低層資料單元的一系列編碼資訊的狀況下，可藉由使用較低層資料單元的一系列編碼資訊來判定較高層資料單元的編碼資訊。舉例而言，可按照與較低層資料單元的N個編碼資訊中的第一編碼資訊、第三編碼資訊以及第五編碼資訊相同的方式來判定較高層資料單元的第一編碼資訊、第三編碼資訊以及第五編碼資訊。
根據實施例的可調式視訊編碼裝置1400以及根據實施例的可調式視訊解碼裝置1500可針對每一序列、圖像以及片段而獨立地控制推斷式層間預測。可針對單個圖像中的每一最大編碼單元、每一編碼單元、每一預測單元(分區)或每一變換單元來獨立地控制推斷式層間預測。
可判定是否針對上述序列、圖像、片段、最大編碼單元、編碼單元、預測單元(分區)以及變換單元中的至少一個資料單元而獨立地執行推斷式層間預測。舉例而言，在第一圖像(或序列或片段)中執行推斷式層間預測，而可在第二圖像(或序列或 片段)中執行推斷式層間預測。對包含於單個圖像中的第一最大編碼單元的資料單元執行推斷式層間預測，而可關於包含於單個圖像中的第二最大編碼單元的資料單元而並不允許進行推斷式層間預測。
可針對上述序列、圖像、片段、最大編碼單元、編碼單元、預測單元(分區)以及變換單元中的至少一個資料單元來獨立地判定推斷式層間預測方法。舉例而言，藉由經由推斷式層間預測使用較低層資料單元的第一編碼資訊以及第四編碼資訊而在第一圖像(或序列或片段)中判定較高層資料單元的第一編碼資訊以及第四編碼資訊，而藉由經由推斷式層間預測使用較低層資料單元的第一編碼資訊、第二編碼資訊、第五編碼資訊以及第八編碼資訊而在第二圖像(或序列或片段)中判定較高層資料單元的第一編碼資訊、第二編碼資訊、第五編碼資訊以及第八編碼資訊。
作為具體實例，根據推斷式層間預測中的推斷式模式，可自較低層資料單元預測較高層資料單元的所有編碼資訊。因此，可並不對較高層資料單元的編碼資訊做編碼。根據推斷式模式，可將較高層資料單元的推斷式模式參數編碼為「真」值，且可並不對較高層資料單元的編碼資訊做編碼。
舉例而言，根據推斷式層間預測中的推斷式預測，可自較低層資料單元的編碼模式推斷較高層資料單元的每一編碼模式。因此，在較高層資料單元的編碼資訊中，可並不對可自較低 層資料單元推斷的編碼模式做編碼。然而，根據推斷式預測，雖然較低層資料單元的編碼模式用作較高層資料單元的編碼模式，但可獨立地判定較高層資料單元的編碼資訊中的變換係數或殘餘資訊。可將較高層資料單元的推斷式預測參數編碼為「真」值，可對較高層資料單元的變換係數或殘餘資訊做編碼，且可並不對可自較低層資料單元推斷的編碼模式做編碼。
可調式視訊解碼裝置1500可並不基於推斷式模式參數來剖析較高層資料單元的編碼模式資訊以及變換係數(殘餘資訊)。可調式視訊解碼裝置1500可並不基於推斷式預測參數來剖析較高層資料單元的編碼模式。
然而，上述推斷式模式以及推斷式預測是推斷式層間預測方法的例示性實施例。推斷式層間預測是如上所述藉由關於一系列所判定編碼資訊使用較低層資料單元的編碼資訊來判定較高層資料單元的編碼資訊的層間預測方法。
可調式視訊編碼裝置1400可藉由使用SPS、圖像參數集合(PPS)、適應參數集合(Adaptation Parameter Set；APS)以及片段標頭來獨立傳輸指示是否針對每一序列、圖像或片段而執行推斷式層間預測的參數。指示是否執行推斷式層間預測的參數可作為最大編碼單元、編碼單元、變換單元以及預測單元(分區)中的至少一個資料單元的編碼模式而傳輸。
可調式視訊解碼裝置1500可自SPS、PPS、APS或片段標頭獨立地剖析指示是否針對每一序列、圖像或片段而執行推斷 式層間預測的參數類似地，指示根據推斷式模式或是推斷式預測來執行推斷式層間預測的資訊可關於最大編碼單元、編碼單元、變換單元以及預測單元(分區)中的至少一個資料單元而剖析為編碼模式。
雖然經由層間預測而自較低層資料單元的編碼模式資訊推斷較高層資料單元的編碼模式資訊，但可針對較高層資料單元而對詳細校正所推斷的資訊的改善資訊做編碼。舉例而言，雖然根據實施例的可調式視訊解碼裝置1500可自指示較低層資料單元的非零係數位置資訊推斷除0之外的較高層資料單元的係數的位置，但可調式視訊解碼裝置1500可藉由使用所讀取的改善資訊而重新調整及預測較高層資料單元的係數值。
舉例而言，可將變換係數的參數「abs_level_minus_1」作為變換係數的改善資訊來讀取。舉例而言，在參數「abs_level_minus_1」是真值的狀況下，意謂可將藉由自非零係數的原始值的絕對值減去1而獲得的值作為非零係數資訊來傳輸。因此，可藉由再次將所接收且剖析的非零係數資訊加上1而準確地預測較高層資料單元的所推斷的係數的大小。
改善資訊不限於參數「abs_level_minus_1」，且可包含用於關於不同資訊來調整所預測值的參數。
<在層間預測中的較高/較低層資料單元之間的映射關係>
較高層資料單元以及較低層資料單元根據可調式視訊編碼方法在空間解析度、時間解析度或影像品質方面有所不同，且 因此，根據實施例的可調式視訊編碼裝置1400以及可調式視訊解碼裝置1500可針對層間預測而判定及參考對應於較高層資料單元的較低層資料單元。
舉例而言，根據基於空間可調性的可調式視訊編碼及解碼方法，較低層影像以及較高層影像在空間解析度方面有所不同。一般而言，較低層影像的解析度小於較高層影像的解析度。因此，為了判定對應於較高層資料單元的較低層資料單元的位置，可考慮解析度的重調大小比。可視情況判定較高層資料單元與較低層資料單元之間的重調大小比。舉例而言，可按照子像素層級(諸如，1/16像素大小)準確地判定映射位置。
在將較高層資料單元以及較低層資料單元的位置表示為坐標時，用於判定映射至較高層資料單元的坐標的較低層資料單元的坐標的映射方程式1、2、3及4如下所述。在映射方程式1、2、3及4中，函數Round()輸出輸入值的經捨入的值。
映射方程式3
在映射方程式1及2中，Bx及By分別表示較低層資料單元的x軸坐標值及y軸坐標值，且Ex及Ey分別表示較高層資料單元的x軸坐標值及y軸坐標值。Rx及Ry表示用於改良每一映射的準確度的在x軸及y軸方向上的參考偏移。在映射方程式3及4中，BaseWidth及BaseHeight分別表示較低層資料單元的寬度及高度，且ScaledBaseWidth及ScaledBaseHeight分別表示經升頻取樣的較低層資料單元的寬度及高度。
因此，可藉由使用用於準確映射的參考偏移以及解析度的重調大小比來判定對應於較高層資料單元的x軸坐標值及y軸坐標值的較低層資料單元的x軸坐標值及y軸坐標值。
然而，上述映射方程式1、2、3及4為用於理解本發明的例示性具體實施例。
在本發明中，可考慮不同因素來判定較低層資料單元與較高層資料單元之間的映射位置。舉例而言，可考慮一或多個因素(諸如，較低層視訊與較高層視訊之間的解析度比、縱橫比、平移距離、偏移等)來判定較低層資料單元與較高層資料單元之間的映射位置。
根據實施例的可調式視訊編碼裝置1400以及根據實施例的可調式視訊解碼裝置1500可基於具有樹狀結構的編碼單元來執行層間預測。根據具有樹狀結構的編碼單元，根據深度來判定編碼單元，且因此，編碼單元的大小並不相同。因此，獨立地判定對應於較高層編碼單元的較低層編碼單元的位置。
現將描述包含最大編碼單元、編碼單元、預測單元、變換單元或分區的較高層影像的不同層級的資料單元與較低層影像的不同層級的資料單元之間的可用不同映射關係。
圖18為用於解釋根據本發明的實施例的較低層與較高層之間的映射關係的圖式。特定言之，圖18為用於解釋基於具有樹狀結構的編碼單元的層間預測的較低層與較高層之間的映射關係的圖式。判定為對應於較高層資料單元的較低層資料單元可稱為參考層資料單元。
為了進行根據實施例的層間預測，可判定對應於較高層最大編碼單元1820的較低層最大編碼單元1810的位置。舉例而言，藉由搜尋對應於較高層最大編碼單元1820的左上方樣本1890的樣本1880所屬的較低層資料單元中的資料單元，可將包含左上方樣本1880的較低層最大編碼單元1810判定為對應於較高層最大編碼單元1820的資料單元。
在可經由根據實施例的層間預測而自較低層編碼單元的結構推斷較高層編碼單元的結構的狀況下，可按照與包含於較低層最大編碼單元1810中的編碼單元的樹狀結構相同的方式來判定 包含於較高層最大編碼單元1820中的編碼單元的樹狀結構。
類似於編碼單元，包含於具有樹狀結構的編碼單元中的分區(預測單元)或變換單元的大小可根據對應編碼單元的大小而變化。甚至包含於相同大小的編碼單元中的分區或變換單元的大小亦可根據分區類型或變換深度而變化。因此，在基於具有樹狀結構的編碼單元的分區或變換單元中，獨立地判定對應於較高層分區或較高層變換單元的較低層分區或較低層變換單元的位置。
在圖18中，搜尋對應於較高層最大編碼單元1820的左上方樣本1890的較低層最大編碼單元1810的預定資料單元1880的位置以針對層間預測而判定參考層最大編碼單元。類似地，可藉由比較對應於較高層資料單元的左上方樣本的較低層資料單元的位置、藉由比較較低層資料單元及較高層資料單元的中心的位置或藉由比較較低層資料單元及較高層資料單元的預定位置來判定參考層資料單元。
雖然圖18中例示映射針對層間預測的另一層的最大編碼單元的狀況，但可關於包含最大編碼單元、編碼單元、預測單元、分區、變換單元及最小單元的各種類型的資料單元來映射另一層的資料單元。
因此，可藉由空間解析度的重調大小比或縱橫比來對較低層資料單元進行升頻取樣，以針對根據實施例的層間預測而判定對應於較高層資料單元的較低層資料單元。可按照參考偏移來 移動經升頻取樣的位置，以使得參考層資料單元的位置可得以準確地判定。可在可調式視訊編碼裝置1400與可調式視訊解碼裝置1500之間明確傳輸及接收關於參考偏移的資訊。然而，雖然未傳輸及接收關於參考偏移的資訊，但可基於周邊運動資訊、較高層資料單元的差別資訊或較高層資料單元的幾何形狀而預測參考偏移。
關於對應於較高層資料單元的位置的較低層資料單元的位置的編碼資訊可用於預測較高層資料單元的層間預測。可參考的編碼資訊可包含編碼模式、所預測值、經重新建構的值、關於資料單元的結構的資訊以及語法中的至少一者。
舉例而言，可自較低層資料單元的對應結構(最大編碼單元的結構、編碼單元的結構、預測單元的結構、分區的結構、變換單元的結構等)推斷較高層資料單元的結構。
可執行較低層影像的兩個或兩個以上資料單元的群組與較高層影像的資料單元的對應群組之間的層間預測，以及執行較低層影像與較高層影像的單個資料單元之間的比較。可判定包含對應於較高層資料單元的群組的位置的較低層資料單元的群組。
舉例而言，在較低層資料單元中，可將包含對應於較高層資料單元群組中的預定位置的資料單元的資料單元的較低層資料單元群組判定為參考層資料單元群組。
資料單元群組資訊可表示用於構成資料單元的群組的結構條件。舉例而言，可自用於構成較低層影像中的編碼單元的群 組的編碼單元群組資訊推斷較高層編碼單元的編碼單元群組資訊。舉例而言，編碼單元群組資訊可包含深度低於或等於預定深度的編碼單元構成編碼單元群組的條件、小於預定數目的編碼單元構成編碼單元群組的條件等。
可明確地對資料單元群組資訊做編碼，且在可調式視訊編碼裝置1400與可調式視訊解碼裝置1500之間傳輸及接收資料單元群組資訊。作為另一實例，雖然未傳輸及接收資料單元群組資訊，但可自較低層資料單元的群組資訊預測可調式視訊編碼裝置1400與可調式視訊解碼裝置1500之間的較高層資料單元的群組資訊。
類似於編碼單元群組資訊，可經由層間預測而自較低層最大編碼單元(變換單元)的群組資訊推斷較高層編碼單元(變換單元)的群組資訊。
較高層片段與較低層片段之間的層間預測是可能的。可藉由參考包含含有對應於較高層資料單元的位置的較低層資料單元的較低層片段的編碼資訊而推斷包含較高層資料單元的較高層片段的編碼資訊。關於片段的編碼資訊可包含片段中所包含的資料單元的所有編碼資訊以及關於片段結構(諸如，片段形狀)的資訊。
較高層圖塊與較低層圖塊之間的層間預測是可能的。可藉由參考包含含有對應於較高層資料單元的位置的較低層資料單元的較低層圖塊的編碼資訊而推斷包含較高層資料單元的較高層 圖塊的編碼資訊。關於圖塊的編碼資訊可包含圖塊中所包含的資料單元的所有編碼資訊以及關於圖塊結構(諸如，圖塊形狀)的資訊。
較高層資料單元可參考與上文所述相同的類型的較低層資料單元。較高層資料單元亦可參考與上文所述不同的類型的較低層資料單元。
可由較高層資料單元使用的較低層資料單元的不同編碼資訊描述於上文<可在層間預測中參考的編碼資訊>中。然而，可在根據本發明的技術概念的層間預測中參考的編碼資訊不限於及解釋為上述編碼資訊，且可解釋為可因對較高層影像以及較低層影像做編碼而產生的各種類型的資料。
針對層間預測並不是在較高層資料單元與較低層資料單元之間參考單段編碼資訊，且可參考至少一段編碼資訊的組合。可按照各種方式組合可參考的至少一段編碼資訊，且因此可按照各種方式設定參考編碼資訊集合。
同樣，較高層資料單元與較低層資料單元之間的不同映射關係描述於上文<在層間預測中的較高/較低層資料單元之間的映射關係>中。然而，在根據本發明的技術概念的層間預測中的較高層資料單元與較低層資料單元之間的映射關係不限於或解釋為上述映射關係，而是可解釋為可彼此相關的較高層資料單元(群組)與較低層資料單元(群組)之間的各種類型的映射關係。
此外，亦可按照各種方式來設定可針對層間預測而在較 高層資料單元與較低層資料單元之間的參考的參考編碼資訊集合以及較高層資料單元與較低層資料單元之間的映射關係的組合。舉例而言，可按照各種方式(諸如，α、β、γ、δ……)來設定層間預測的參考編碼資訊集合，且亦可按照各種方式(諸如，I、II、III、V……)來設定較高層資料單元與較低層資料單元之間的映射關係。在此狀況下，參考編碼資訊集合以及映射關係的組合可設定為以下各者中的至少一者：「編碼資訊集合α以及映射關係I」、「α以及II」、「α以及III」、「α以及V」、……、「編碼資訊集合β以及映射關係I」、「β以及II」、「β以及III」、「β以及V」、……、「編碼資訊集合γ以及映射關係I」、「γ以及II」、「γ以及III」、「γ以及V」、……、「編碼資訊集合δ以及映射關係I」、「δ以及II」、「δ以及III」、「δ以及V」、……。兩個或兩個以上參考編碼資訊集合可設定為與單個映射關係組合或兩個或兩個以上映射關係可設定為與單個參考編碼資訊集合組合。
現將描述在較高層影像與較低層影像之間的層間預測中映射不同層級的資料單元的實施例。
舉例而言，較高層編碼單元可參考關於包含對應位置的較低層最大編碼單元的群組的編碼資訊。相對而言，較高層最大編碼單元可參考關於包含對應位置的較低層編碼單元的群組的編碼資訊。
舉例而言，可藉由參考關於包含對應位置的較低層最大編碼單元群組的編碼資訊來判定較高層編碼單元的編碼資訊。亦 即，可參考的較低層最大編碼單元可包含對應於較高層編碼單元的所有位置的所有各別位置。
類似地，可藉由參考關於包含對應位置的較低層編碼單元群組的編碼資訊來判定較高層最大編碼單元的編碼資訊。亦即，可參考的較低層編碼單元可包含對應於較高層最大編碼單元的所有位置的所有各別位置。
根據實施例，可如上所述判定是否針對每一序列、每一圖像、每一片段或每一最大編碼單元而獨立地執行推斷式層間預測。
雖然對預定資料單元執行層間預測，但可將推斷式層間預測部分地控制於預定資料單元內。舉例而言，在判定是否執行最大編碼單元層級的層間預測的狀況下，雖然對較高層影像的當前最大編碼單元執行層間預測，但藉由使用對應較低層資料單元僅對包含於當前最大編碼單元中的低層級的資料單元中的部分層級的資料單元執行推斷式層間預測，且不對不具有對應較低層資料單元的其他資料單元執行推斷式層間預測。當前最大編碼單元中的低層級的資料單元可包含當前最大編碼單元中的編碼單元、預測單元、變換單元以及分區，且部分層級的資料單元可包含編碼單元、預測單元、變換單元以及分區中的至少一者。因此，可自較低層資料單元推斷包含於較高層最大編碼單元中的部分層級的資料單元，而可對關於較高層最大編碼單元中的其他層級的資料單元的編碼資訊做編碼以及進行傳輸及接收。
舉例而言，在僅對較高層最大編碼單元執行層間預測的狀況下，可藉由參考藉由執行較低層編碼單元的畫面內預測而產生的經重新建構的影像而預測較高層最大編碼單元的編碼單元中的具有對應較低層編碼單元的較高層編碼單元。然而，可對不具有對應的畫面內預測的較低層編碼單元的較高層編碼單元執行除層間預測之外的使用較高層影像的單層預測。
僅在關於較低層資料單元的預定條件得以滿足時，較高層資料單元的推斷式層間預測亦可為可能的。可調式視訊編碼裝置1400可在預定條件得以滿足且推斷式層間預測成為可能的狀況下傳輸指示是否實際上執行推斷式層間預測的資訊。可調式視訊解碼裝置1500可剖析指示推斷式層間預測是否可能的資訊，讀取所剖析的資訊，判定預定條件是否得以滿足以及推斷式層間預測是否已得以執行，且在預定條件得以滿足時藉由參考較低層資料單元的一系列編碼模式的組合來判定較高層資料單元的編碼模式。
舉例而言，可僅在較高層預測單元的大小大於或等於較低層預測單元的大小時執行不同層的預測單元之間的殘餘預測。舉例而言，可僅在較高層最大預測單元的大小大於或等於較低層最大預測單元的大小時執行不同層的最大預測單元之間的層間預測。此是因為根據解析度重調大小比或縱橫比而對較低層最大編碼單元或較低層預測單元進行升頻取樣。
作為另一實例，在較高層資料單元的預定片段類型(諸 如，片段I、B及P)的條件下，推斷式層間預測模式可為可能的。
根據層間畫面內跳過模式的預測是推斷式層間預測的實例。根據層間畫面內跳過模式，較高層資料單元的畫面內模式的殘餘資訊並不存在，且因此，對應於較高層資料單元的較低層的畫面內的經重新建構的影像可用作較高層資料單元的畫面內的經重新建構的影像。
因此，作為具體實例，可判定是否根據較高層資料單元的片段類型是畫面間模式的片段類型(諸如，片段B及P)或是畫面內模式的片段類型(諸如，片段I)來對指示層間畫面內跳過模式的資訊做編碼(解碼)。
可針對層間預測以經校正的格式或經降級的格式使用較低層資料單元的編碼資訊。
舉例而言，較低層分區的運動向量可降低至具體像素層級的準確度(如，整數像素層級以及1/2像素層級的子像素層級)，且可用作較高層分區的運動向量。
作為另一實例，可將多個較低層分區的運動向量合併為一個運動向量且由較高層分區來參考。
舉例而言，可將組合了運動向量的區域判定為固定區域。可僅在包含於固定大小的區域中的分區或固定相鄰位置的資料單元中組合運動向量。
作為另一實例，雖然兩個或兩個以上較低層資料單元對應於預定大小的較高層資料單元，但可藉由僅使用較低層資料單 元中的單個資料單元的運動資訊來判定較高層資料單元的運動向量。舉例而言，可將對應於16×16的較高層資料單元的多個較低層資料單元中的預定位置的較低層資料單元的運動向量用作較高層資料單元的運動向量。
在另一狀況下，可將用於判定組合了運動向量的區域的控制資訊插入至SPS、PPS、APS或片段標頭中且進行傳輸。因此，可針對每一序列、每一圖像、每一適應參數或每一片段而剖析用於判定組合了運動向量的區域的控制資訊。舉例而言，可修改及儲存較低層分區的運動資訊。最初，將較低層分區的運動資訊作為參考索引及運動向量的組合來儲存。然而，可在根據實施例的較低層分區的運動資訊的大小調整或修改為對應於參考索引(其假設為0)的運動向量之後儲存所述運動資訊。因此，可減少較低層分區的運動資訊的儲存。針對較高層分區的層間預測，可根據對應於較高層分區的參考索引的參考影像而再次修改較低層分區的所儲存的運動資訊。亦即，可藉由根據較高層分區的參考影像參考較低層分區的經修改的運動資訊而判定較高層分區的運動向量。
圖19為根據本發明的實施例的可調式視訊編碼方法的流程圖。
在操作1910中，基於具有樹狀結構的編碼單元來對較低層影像做編碼。在操作1920中，基於具有樹狀結構的編碼單元來對較高層影像做編碼，且藉由參考較低層影像來判定執行可調式 編碼的可調式編碼模式。
在操作1930中，基於操作1920中所判定的可調式編碼模式藉由參考較低層影像的編碼資訊來對較高層影像進行預測及編碼。
根據實施例，可藉由參考較低層影像的編碼模式中的編碼單元的編碼資訊以及包含於編碼單元中的變換單元的編碼資訊中的至少一者來對較高層影像做編碼。
根據實施例，可藉由參考較低層影像的編碼模式中的關於結構的資訊、預測模式資訊、分區類型資訊、運動資訊、畫面內資訊、迴路濾波相關資訊、非零係數位置資訊以及經重新建構的紋理資訊中的至少一者來判定較高層影像的編碼模式。
根據實施例，可藉由參考較低層影像的編碼模式中的殘餘資訊、係數資訊以及經重新建構的所預測值中的至少一者來判定較高層影像的所預測值。
在操作1940中，基於可調式編碼模式來輸出較低層影像的編碼模式及所預測值以及較高層影像的可調式編碼模式。
根據第一可調式編碼模式，可進一步輸出排除自較低層影像的編碼資訊推斷的資訊的編碼資訊。根據第二可調式編碼模式，可輸出較高層影像的可調式編碼模式。
圖20為根據本發明的實施例的可調式視訊解碼方法的流程圖。
在操作2010中，自所接收的位元串流剖析較低層影像的 編碼模式及所預測值以及較高層影像的可調式編碼模式。舉例而言，根據第一可調式編碼模式，可自位元串流剖析排除自較低層影像的編碼資訊推斷的資訊的編碼資訊。根據第二可調式編碼模式，可自位元串流剖析關於較高層影像的可調式編碼模式的資訊。
在操作2020中，可藉由使用較低層影像的所剖析的編碼模式以及所預測值基於具有樹狀結構的編碼單元來對較低層影像做解碼。
在操作2030中，基於具有樹狀結構的編碼單元來對較高層影像做解碼，且根據較高層影像的可調式編碼模式藉由參考較低層影像的編碼資訊來對較高層影像進行預測及解碼。
根據實施例，可藉由參考較低層影像的編碼資訊來判定較高層影像的編碼模式。根據實施例，可藉由參考較低層影像的編碼模式中的關於結構的資訊、預測模式資訊、分區類型資訊、運動資訊、畫面內資訊、迴路濾波相關資訊、非零係數位置資訊以及經重新建構的紋理資訊中的至少一者來判定較高層影像的編碼模式。根據實施例，可藉由參考較低層影像的編碼模式中的殘餘資訊、係數資訊以及經重新建構的所預測值中的至少一者來判定較高層影像的所預測值。可基於較高層影像的上文判定且推斷的編碼資訊來對較高層影像做解碼。
圖21為根據本發明的另一實施例的可調式視訊編碼方法的流程圖。
在操作2110中，基於具有樹狀結構的編碼單元來對較低 層影像做編碼。在操作2120中，基於具有樹狀結構的編碼單元來對較高層影像做編碼，且藉由參考較低層影像來判定執行可調式編碼的可調式編碼模式。
在操作2130中，基於操作2120中所判定的可調式編碼模式來判定待由較高層影像的資料單元參考的較低層影像的資料單元。基於具有樹狀結構的編碼單元的資料單元可包含最大編碼單元、編碼單元、包含於編碼單元中的預測單元、變換單元以及最小單元中的至少一者。藉由參考較低層影像的上文判定的資料單元的編碼資訊來對較高層影像進行預測及編碼。
根據實施例，可判定類型與較高層影像的當前資料單元相同的較低層影像的資料單元，且可藉由參考較低層影像的資料單元的編碼資訊來對較高層影像的當前資料單元做編碼。
根據實施例，可判定類型與較高層影像的當前資料單元群組相同的較低層影像的資料單元群組，且可藉由參考較低層影像的資料單元群組的編碼資訊來對較高層影像的當前資料單元群組做編碼。
根據實施例，可參考類型與較高層影像的當前資料單元的類型不同的較低層影像的資料單元。可參考類型與較高層影像的當前資料單元群組的類型不同的較低層影像的資料單元群組。
在判定較高層影像的當前資料單元的層間預測模式的狀況下，可藉由參考較低層影像來對包含於當前資料單元中的較低層資料單元中的一些做編碼，且可藉由較高層中的單層預測來對 其他較低層資料單元做編碼。
可改變自較低層影像推斷的編碼資訊，且可藉由參考所改變的編碼資訊來判定較高層影像的編碼資訊。
圖22為根據本發明的另一實施例的可調式視訊解碼方法的流程圖。
在操作2210中，可藉由使用自所接收的位元串流剖析的較低層影像的編碼模式以及所預測值基於具有樹狀結構的編碼單元來對較低層影像做解碼。
在操作2220中，可根據較高層影像的可調式編碼模式來判定可由較高層影像的資料單元參考的較低層影像的資料單元。可藉由參考較低層影像的對應資料單元的編碼資訊來對較高層影像的具有樹狀結構的編碼單元進行預測及解碼。
根據實施例，可藉由參考對應於較高層影像的當前資料單元的較低層影像的資料單元的編碼資訊來判定較高層影像的當前資料單元的編碼資訊。
根據實施例，可藉由參考對應於較高層影像的當前資料單元群組的較低層影像的資料單元群組的編碼資訊來判定較高層影像的當前資料單元群組的編碼資訊。
根據實施例，可參考類型與較高層影像的當前資料單元的類型不同的較低層影像的資料單元。根據實施例，可參考類型與較高層影像的當前資料單元群組的類型不同的較低層影像的資料單元群組。
根據實施例，在判定較高層影像的當前資料單元的層間預測模式的狀況下，可藉由參考較低層影像來對包含於當前資料單元中的較低層資料單元中的一些做解碼，且可藉由較高層中的單層預測來對其他較低層資料單元做解碼。
隨著根據編碼單元來對至少一個最大編碼單元做解碼，可重新建構空間域中的影像資料，且因此可重新建構圖像以及視訊(其為圖像序列)。經重新建構的視訊可由再生裝置再生，儲存於儲存媒體中或經由網路而傳輸。
參看圖19及圖21所述的可調式視訊編碼方法對應於可調式視訊編碼裝置1400的操作。可調式視訊編碼裝置1400可包含藉由使用電腦來記錄用於實施參看圖19及圖21所述的可調式視訊編碼方法的程式的記憶體，且可調式視訊編碼裝置1400自所述記憶體呼叫所述程式且執行所述程式，且因此，參看圖14所述的可調式視訊編碼裝置1400的操作可得以實施。或者，可調式視訊編碼裝置1400自記錄用於實施可調式視訊編碼方法的程式的記錄媒體讀取所述程式且執行所述程式，且因此，參看圖14所述的可調式視訊編碼裝置1400的操作可得以實施。
參看圖20及圖22所述的可調式視訊解碼方法對應於可調式視訊解碼裝置1500的操作。可調式視訊解碼裝置1500可包含藉由使用電腦來記錄用於實施參看圖20及圖22所述的可調式視訊解碼方法的程式的記憶體，且可調式視訊解碼裝置1500自所述記憶體呼叫所述程式且執行所述程式，且因此，參看圖15所述 的可調式視訊解碼裝置1500的操作可得以實施。或者，可調式視訊解碼裝置1500自記錄用於實施可調式視訊解碼方法的程式的記錄媒體讀取所述程式且執行所述程式，且因此，參看圖15所述的可調式視訊解碼裝置1500的操作可得以實施。
本發明的實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體的實例包含磁性儲存媒體(例如，ROM、軟碟、硬碟等)以及光學記錄媒體(例如，CD-ROM或DVD)。
儘管已參考本發明的較佳實施例特定地展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專利範圍界定的本發明的精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。較佳實施例應僅在描述性意義上考慮且並非用於限制目的。因此，本發明的範疇並非由本發明的詳細描述界定而是由隨附申請專利範圍界定，且在此範疇內的所有差異將解釋為包含於本發明中。
1910‧‧‧操作
1920‧‧‧操作
1930‧‧‧操作
1940‧‧‧操作

Claims (15)

  1. 一種可調式視訊編碼方法，包括：判定關於用以將第一層影像分割成最大編碼單元的最大編碼單元大小的第一資訊，並判定指示每個所述最大編碼單元的編碼單元結構用以將每個所述最大編碼單元階層分割成編碼單元的分割資訊；基於關於所述最大編碼單元大小的所述第一資訊及所述分割資訊，而對第一層影像做編碼；判定關於用以將第二層影像分割成最大編碼單元的最大編碼單元大小的第二資訊，並根據所述第一層影像的所述分割資訊將每個所述最大編碼單元階層分割成編碼單元；藉由參考所述第一層影像來判定用於基於所述第一層影像的編碼單元結構而對所述第二層影像執行可調式編碼的可調式編碼模式；基於所述所判定的可調式編碼模式藉由參考所述第一層影像的所述判定的編碼單元的編碼資訊來對所述第二層影像進行編碼；以及輸出包括關於最大編碼單元大小的所述第一資訊、關於最大編碼單元大小的所述第二資訊、所述第一層影像的所述分割資訊、以及所述第二層影像的所述可調式編碼模式資訊的位元串流，其中，在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰 近編碼單元判定為分割為較小編碼單元。
  2. 如申請專利範圍第1項所述的可調式視訊編碼方法，其中所述第二層影像的所述編碼包括：藉由參考所述第一層影像的所述編碼資訊中的關於編碼單元的結構的資訊、關於包含於所述編碼單元中的變換單元的結構的資訊、預測模式、分區類型、運動資訊以及畫面內資訊中的至少一者，來判定所述第二層影像的編碼資訊；以及基於所述第二層影像的所述所判定的編碼資訊來對所述第二層影像做編碼。
  3. 如申請專利範圍第1項所述的可調式視訊編碼方法，其中所述第二層影像的所述編碼包括：藉由參考所述第一層影像的殘餘資訊、變換係數、所預測值、經重新建構的值、語法元素、迴路濾波相關資訊、非零係數位置資訊、經重新建構的所預測值以及經重新建構的紋理資訊，來判定所述第二層影像的編碼資訊；以及基於所述第二層影像的所述所判定的編碼資訊來對所述第二層影像做編碼。
  4. 如申請專利範圍第1項所述的可調式視訊編碼方法，其中所述第二層影像的所述編碼包括：基於所述所判定的可調式編碼模式來判定待由所述第二層影像的資料單元參考的所述第一層影像的資料單元；以及藉由參考所述第一層影像的所述所判定的資料單元的編碼資 訊來對所述第二層影像進行編碼，其中所述資料單元包括所述最大編碼單元、所述編碼單元、以及包含於所述編碼單元中的預測單元、變換單元以及最小單元中的至少一者。
  5. 如申請專利範圍第4項所述的可調式視訊編碼方法，其中所述第二層影像的所述編碼包括：藉由參考資料單元的類型與所述第二層影像的當前資料單元相同且對應於所述第二層影像的所述當前資料單元的所述第一層影像的資料單元的編碼資訊、資料單元的類型不同的所述第一層影像的資料單元的編碼資訊、所述第一層影像的資料單元的片段資訊以及圖塊資訊中的至少一者，來對所述第二層影像的所述當前資料單元做編碼。
  6. 如申請專利範圍第4項所述的可調式視訊編碼方法，其中所述第二層影像的所述編碼包括：判定資料單元群組的類型與所述第二層影像的當前資料單元群組相同且對應於所述第二層影像的所述當前資料單元群組的所述第一層影像的資料單元群組以及資料單元群組的類型不同的所述第一層影像的資料單元群組中的至少一者；以及藉由參考所述第一層影像的所述所判定的資料單元群組的編碼資訊來對所述第二層影像的所述當前資料單元群組做編碼。
  7. 一種可調式視訊解碼方法，包括：自所接收的位元串流剖析第一層影像的編碼資訊以及第二層 影像的可調式編碼模式；根據關於最大編碼單元大小的第一資訊來將所述第一層影像分割成最大編碼單元，並根據指示每個所述最大編碼單元的編碼單元結構的分割資訊將每個所述最大編碼單元階層分割成編碼單元；基於所述編碼單元結構，藉由使用所述第一層影像的所述所剖析的編碼資訊而對所述第一層影像做解碼；根據關於最大編碼單元大小的所述第二資訊將所述第二層影像分割成最大編碼單元，並根據所述第一層影像的最大編碼單元的所述編碼單元結構將每個所述最大編碼單元階層分割成編碼單元；以及基於解碼所述第一層影像所使用的所述解碼單元結構來對所述第二層影像進行解碼，其中，在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編碼單元判定為分割為較小編碼單元。
  8. 如申請專利範圍第7項所述的可調式視訊解碼方法，其中所述第二層影像的所述解碼包括：藉由參考所述第一層影像的所述編碼資訊中的關於編碼單元的結構的資訊、關於包含於所述編碼單元中的變換單元的結構的資訊、預測模式、分區類型、運動資訊以及畫面內資訊中的至少一者，來判定所述第二層影像的編碼資訊；以及 基於所述第二層影像的所述所判定的編碼資訊來對所述第二層影像做解碼。
  9. 如申請專利範圍第7項所述的可調式視訊解碼方法，其中所述第二層影像的所述解碼包括：藉由參考所述第一層影像的所述編碼資訊中的殘餘資訊、變換係數、所預測值、經重新建構的值、語法元素、迴路濾波相關資訊、非零係數位置資訊、經重新建構的所預測值以及經重新建構的紋理資訊，來判定所述第二層影像的編碼資訊；以及基於所述第二層影像的所述所判定的編碼資訊來對所述第二層影像做解碼。
  10. 如申請專利範圍第7項所述的可調式視訊解碼方法，其中所述第二層影像的所述解碼包括：根據自所述位元串流剖析的所述第二層影像的所述所判定的可調式編碼模式來判定待由所述第二層影像的資料單元參考的所述第一層影像的資料單元，以及藉由參考所述第一層影像的所述所判定的資料單元的編碼資訊基於具有所述樹狀結構的所述編碼單元來對所述第二層影像進行解碼，其中所述資料單元包括所述最大編碼單元、所述編碼單元、以及包含於所述編碼單元中的預測單元、變換單元以及最小單元中的至少一者。
  11. 如申請專利範圍第10項所述的可調式視訊解碼方法，其中所述第二層影像的所述解碼包括： 判定資料單元的類型與所述第二層影像的當前資料單元相同且對應於所述第二層影像的所述當前資料單元的所述第一層影像的資料單元的編碼資訊、資料單元的類型不同的所述第一層影像的資料單元的編碼資訊、所述第一層影像的資料單元的片段資訊以及圖塊資訊中的至少一者，藉由參考所述第一層影像的所述資料單元的所述所判定的編碼資訊來判定所述第二層影像的當前資料單元的編碼資訊；以及藉由使用所述當前資料單元的所述所判定的編碼資訊來對所述當前資料單元做解碼。
  12. 如申請專利範圍第10項所述的可調式視訊解碼方法，其中所述第二層影像的所述解碼包括：判定資料單元群組的類型與所述第二層影像的當前資料單元群組相同且對應於所述第二層影像的所述當前資料單元群組的所述第一層影像的資料單元群組以及資料單元群組的類型不同的所述第一層影像的資料單元群組中的至少一者；藉由參考所述第一層影像的所述所判定的資料單元群組的編碼資訊來判定所述第二層影像的所述當前資料單元群組的編碼資訊；以及藉由使用所述當前資料單元群組的所述所判定的編碼資訊來對所述當前資料單元群組做解碼。
  13. 一種可調式視訊編碼裝置，包括：第一層編碼器，其判定關於用以將第一層影像分割成最大編 碼單元的最大編碼單元大小的第一資訊，並判定指示每個所述最大編碼單元的編碼單元結構用以將每個所述最大編碼單元階層分割成編碼單元的分割資訊，並基於關於所述最大編碼單元大小的所述第一資訊及所述分割資訊，而對第一層影像做編碼；第二層編碼器，其判定關於用以將第二層影像分割成最大編碼單元的最大編碼單元大小的第二資訊，並根據所述第一層影像的所述分割資訊將每個所述最大編碼單元階層分割成編碼單元，藉由參考所述第一層影像來判定用於基於所述第一層影像的編碼單元結構而對所述第二層影像執行可調式編碼的可調式編碼模式，且基於所述所判定的可調式編碼模式藉由參考所述第一層影像的所述判定的編碼單元的編碼資訊來對所述第二層影像進行編碼；以及輸出單元，其輸出包括關於最大編碼單元大小的所述第一資訊、關於最大編碼單元大小的所述第二資訊、所述第一層影像的所述分割資訊、以及所述第二層影像的所述可調式編碼模式資訊的位元串流，其中，在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編碼單元判定為分割為較小編碼單元。
  14. 一種可調式視訊解碼裝置，包括：剖析單元，其自所接收的位元串流剖析第一層影像的編碼資訊以及第二層影像的可調式編碼模式； 第一層解碼器，其根據關於最大編碼單元大小的第一資訊來將所述第一層影像分割成最大編碼單元，並根據指示每個所述最大編碼單元的編碼單元結構的分割資訊將每個所述最大編碼單元階層分割成編碼單元，並基於所述編碼單元結構，藉由使用所述第一層影像的所述所剖析的編碼資訊而對所述第一層影像做解碼；以及第二層解碼器，其根據關於最大編碼單元大小的所述第二資訊將所述第二層影像分割成最大編碼單元，並根據所述第一層影像的最大編碼單元的所述編碼單元結構將每個所述最大編碼單元階層分割成編碼單元，並基於解碼所述第一層影像所使用的所述解碼單元結構來對所述第二層影像進行解碼，其中，在視訊的影像的空間上分割的最大編碼單元中，每一最大編碼單元分割為多個編碼單元，且每一編碼單元個別地自鄰近編碼單元判定為分割為較小編碼單元。
  15. 一種電腦可讀記錄媒體，其上記錄有用於執行如申請專利範圍第1或7項所述的方法的程式。
TW102109833A 2012-03-20 2013-03-20 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置 TWI617180B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261613171P 2012-03-20 2012-03-20
US61/613,171 2012-03-20

Publications (2)

Publication Number Publication Date
TW201347554A TW201347554A (zh) 2013-11-16
TWI617180B true TWI617180B (zh) 2018-03-01

Family

ID=49222976

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102109833A TWI617180B (zh) 2012-03-20 2013-03-20 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置

Country Status (7)

Country Link
US (1) US20150043639A1 (zh)
EP (1) EP2830312A4 (zh)
JP (1) JP6272819B2 (zh)
KR (1) KR102071577B1 (zh)
CN (1) CN104322067B (zh)
TW (1) TWI617180B (zh)
WO (1) WO2013141596A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013141609A1 (ko) * 2012-03-20 2013-09-26 삼성전자 주식회사 트리 구조의 부호화 단위에 기초한 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
KR101668202B1 (ko) * 2012-09-25 2016-10-20 인텔 코포레이션 스케일러블 비디오 코딩을 위한 인터레이어 샘플 적응 필터 파라미터 재사용
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
EP2920964B1 (en) * 2013-03-26 2018-05-09 MediaTek Inc. Method of cross color intra prediction
CN104811731A (zh) * 2014-01-03 2015-07-29 上海天荷电子信息有限公司 多层次子块匹配图像压缩方法
US10200719B2 (en) * 2015-11-25 2019-02-05 Qualcomm Incorporated Modification of transform coefficients for non-square transform units in video coding
KR20230122188A (ko) * 2016-05-10 2023-08-22 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
EP3276962A1 (en) * 2016-07-25 2018-01-31 Alcatel Lucent Method and device for transmission of a video
TWI618029B (zh) * 2016-07-26 2018-03-11 聯發科技股份有限公司 圖形處理裝置
WO2019113903A1 (zh) * 2017-12-14 2019-06-20 北京金山云网络技术有限公司 一种编码单元划分决策方法、装置、编码器及存储介质
US11051009B2 (en) 2018-01-18 2021-06-29 Mediatek Inc. Video processing methods and apparatuses for processing video data coded in large size coding units
CN114845121A (zh) * 2018-04-30 2022-08-02 寰发股份有限公司 用于视频编解码中的独立编码树的语法交错方法和装置
WO2020057530A1 (en) 2018-09-18 2020-03-26 Huawei Technologies Co., Ltd. Coding method, device, system
BR122023024004A2 (pt) 2018-09-18 2023-12-26 Huawei Technologies Co., Ltd. Codificador de vídeo, decodificador de vídeo e métodos correspondentes
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
JP2022530286A (ja) * 2019-06-19 2022-06-28 エルジー エレクトロニクス インコーポレイティド クロマブロックの適応的サイズ制限を用いた画像符号化／復号化方法、装置、及びビットストリームを伝送する方法
WO2021025508A1 (ko) * 2019-08-06 2021-02-11 엘지전자 주식회사 컬러 포멧에 따라 결정된 예측 모드 타입에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180885A (zh) * 2005-04-13 2008-05-14 Lg电子株式会社 使用参考图像解码视频信号的方法和装置
KR100904444B1 (ko) * 2006-09-07 2009-06-26 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US20100020886A1 (en) * 2005-09-27 2010-01-28 Qualcomm Incorporated Scalability techniques based on content information
US20110150084A1 (en) * 2006-03-27 2011-06-23 Hae-Chul Choi Scalable video encoding and decoding method using switching pictures and apparatus thereof

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
KR100679011B1 (ko) * 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
BRPI0711103A2 (pt) * 2006-05-05 2011-08-23 Thomson Licensing predição de movimento entre camadas simplificadas para codificação de vìdeo escalonável
KR100951465B1 (ko) * 2008-05-08 2010-04-07 엘지전자 주식회사 영상 부호화 방법, 복호화 방법, 및 그 기록 매체
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101457418B1 (ko) * 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN102075766B (zh) * 2009-11-23 2013-01-09 华为技术有限公司 视频编码、解码方法、装置及视频编解码系统
RS58137B1 (sr) * 2010-08-17 2019-02-28 Samsung Electronics Co Ltd Postupak dekodiranja video zapisa upotrebom jedinice za transformaciju promenljive strukture stabla
EP3057326A1 (en) * 2011-06-10 2016-08-17 MediaTek, Inc Method and apparatus of scalable video coding
CN103621081B (zh) * 2011-06-10 2016-12-21 寰发股份有限公司 可伸缩视频编码方法及装置
EP2723079A4 (en) * 2011-06-15 2015-03-04 Korea Electronics Telecomm MODULABLE VIDEO ENCODING AND DECODING METHOD AND DEVICE APPLYING THE SAME
CN104321970B (zh) * 2012-06-26 2018-01-19 英特尔公司 层间编码单元四叉树模式预测
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
US9635356B2 (en) * 2012-08-07 2017-04-25 Qualcomm Incorporated Multi-hypothesis motion compensation for scalable video coding and 3D video coding
US9532057B2 (en) * 2012-12-28 2016-12-27 Qualcomm Incorporated Inter-layer prediction using sample-adaptive adjustments for bit depth scalable video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101180885A (zh) * 2005-04-13 2008-05-14 Lg电子株式会社 使用参考图像解码视频信号的方法和装置
US20100020886A1 (en) * 2005-09-27 2010-01-28 Qualcomm Incorporated Scalability techniques based on content information
US20110150084A1 (en) * 2006-03-27 2011-06-23 Hae-Chul Choi Scalable video encoding and decoding method using switching pictures and apparatus thereof
KR100904444B1 (ko) * 2006-09-07 2009-06-26 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치

Also Published As

Publication number Publication date
JP6272819B2 (ja) 2018-01-31
CN104322067A (zh) 2015-01-28
EP2830312A1 (en) 2015-01-28
US20150043639A1 (en) 2015-02-12
KR102071577B1 (ko) 2020-01-30
WO2013141596A1 (ko) 2013-09-26
CN104322067B (zh) 2018-08-10
JP2015514350A (ja) 2015-05-18
EP2830312A4 (en) 2015-12-02
KR20130106794A (ko) 2013-09-30
TW201347554A (zh) 2013-11-16

Similar Documents

Publication Publication Date Title
TWI617180B (zh) 基於樹狀結構之編碼單元的可調式視訊編碼的方法與裝置以及基於樹狀結構之編碼單元的可調式視訊解碼的方法與裝置
JP6665225B2 (ja) ビデオ復号化方法とその装置、ビデオ符号化方法とその装置
TWI615022B (zh) 視訊解碼方法
CN104980742B (zh) 用于视频解码的设备
TWI426784B (zh) 視訊解碼裝置
KR101030638B1 (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 복호 장치 및 동화상 복호 방법
JP5997317B2 (ja) ビデオ復号化方法及びビデオ復号化装置
KR101911012B1 (ko) 참조 픽쳐 리스트 관리 방법 및 이러한 방법을 사용하는 장치
CN106031176B (zh) 涉及帧内预测的视频编码方法和装置以及视频解码方法和装置
JP2017511620A (ja) オーバーラップエリア内の再構成されたサンプル値のブロックベクトル予測及び推定におけるイノベーション
TW201803355A (zh) 視訊解碼裝置、視訊資料編碼方法、視訊資料編碼裝置及非暫態電腦可讀記錄媒體
CN108235034B (zh) 视频编码方法和设备以及视频解码方法和设备
CN113228651A (zh) 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
KR20140079661A (ko) Mpm을 이용한 계층적 영상 복호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees