TWI552581B - 視訊解碼方法 - Google Patents

視訊解碼方法 Download PDF

Info

Publication number
TWI552581B
TWI552581B TW101139992A TW101139992A TWI552581B TW I552581 B TWI552581 B TW I552581B TW 101139992 A TW101139992 A TW 101139992A TW 101139992 A TW101139992 A TW 101139992A TW I552581 B TWI552581 B TW I552581B
Authority
TW
Taiwan
Prior art keywords
unit
information
image
code
term reference
Prior art date
Application number
TW101139992A
Other languages
English (en)
Other versions
TW201325254A (zh
Inventor
朴永五
金壹求
金讚烈
崔光杓
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201325254A publication Critical patent/TW201325254A/zh
Application granted granted Critical
Publication of TWI552581B publication Critical patent/TWI552581B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

視訊解碼方法
本發明是關於一種畫面間預測方法以及一種動作補償方法。
隨著用於再生以及儲存高解析度或高品質視訊內容之硬體正被開發以及供應，對用於有效地對高解析度或高品質視訊內容進行編碼或解碼之視訊編解碼器的需求增加。根據習知視訊編解碼器，視訊是基於具有預定大小之巨集區塊根據有限編碼方法(limited encoding method)而編碼。
經由頻率變換，將空間域之影像資料變換為頻域之係數。根據視訊編解碼器，將影像分割為具有預定大小之多個區塊，對每一區塊執行離散餘弦變換(discrete cosine transformation；DCT)，且以區塊為單位來對頻率係數進行編碼，以達成頻率變換之快速計算。相比於空間域之影像資料，頻域之係數易於壓縮。特別是，由於空間域之影像像素值是透過視訊編解碼器之畫面間 預測(inter prediction)或畫面內預測(intra prediction)而根據預測誤差來表達，因此，當對預測誤差執行頻率變換時，大量資料可變換為0。根據視訊編解碼器，可藉由大小小之資料取代連續並重複產生之資料以減少資料量。
本發明提供使用長期參考影像之畫面間預測方法以及畫面間預測裝置，以及使用長期參考影像之動作補償方法以及動作補償裝置。本發明亦提供涉及使用長期參考影像之畫面間預測與動作補償的視訊編碼方法與視訊編碼裝置，以及涉及使用長期參考影像之動作補償的視訊解碼方法與視訊解碼裝置。
根據本發明之一態樣，提供一種畫面間預測方法，其包含：藉由使用儲存於解碼圖像緩衝區中之長期參考影像來對當前影像執行畫面間預測；判定經由所述畫面間預測而產生之當前影像之殘餘資料以及動作向量；以及藉由將所述長期參考影像之圖像次序號(picture order count；POC)資訊劃分為最高有效位元(most significant bit；MSB)資訊以及最低有效位元(least significant bit；LSB)資訊，來將所述LSB資訊判定為指示所述長期參考影像之長期參考索引。
根據本發明之動作補償方法，長期參考影像之圖像次序 號(POC)資訊的最低有效位元(LSB)資訊可用作指示用於影像之畫面間預測的參考影像中的長期參考影像的參考索引。長期參考影像可藉由使用影像之POC資訊來指示，而不必為識別長期參考影像而將單獨影像號用於長期參考影像。因此，可不備用儲存用於長期參考影像之單獨影像號的儲存空間。且，指示長期參考影像之索引的範圍可為無限的。
10‧‧‧畫面間預測裝置
12‧‧‧畫面間預測單元
13、15、17、21、23、25、27‧‧‧操作
14‧‧‧輸出單元
20‧‧‧動作補償裝置
22‧‧‧接收單元
24‧‧‧動作補償單元
40‧‧‧視訊編碼裝置
42‧‧‧解碼圖像緩衝區
44‧‧‧畫面間預測單元
46‧‧‧變換量化單元
48‧‧‧熵編碼單元
50‧‧‧視訊解碼裝置
52‧‧‧接收單元
54‧‧‧逆量化與逆變換單元
56‧‧‧解碼圖像緩衝區
58‧‧‧動作補償單元
59‧‧‧迴路內濾波單元
100‧‧‧視訊編碼裝置
110‧‧‧最大寫碼單元分割器
120‧‧‧寫碼單元判定器
130‧‧‧輸出單元
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前畫面
410‧‧‧畫面內預測器
420‧‧‧動作估計器
425‧‧‧動作補償器
430‧‧‧變換器
440‧‧‧量化器
450‧‧‧熵編碼器
455‧‧‧位元串流
460‧‧‧逆量化器
470‧‧‧逆變換器
480‧‧‧解區塊單元
490‧‧‧迴路濾波單元
495‧‧‧參考畫面
500‧‧‧影像解碼器
505‧‧‧位元串流
510‧‧‧剖析器
520‧‧‧熵解碼器
530‧‧‧逆量化器
540‧‧‧逆變換器
550‧‧‧畫面內預測器
560‧‧‧動作補償器
570‧‧‧解區塊單元
580‧‧‧迴路濾波單元
585‧‧‧參考畫面
595‧‧‧所復原之畫面
600‧‧‧階層式結構
610‧‧‧寫碼單元/分區/最大寫碼單元/編碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧寫碼單元/分區
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧寫碼單元/分區
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧寫碼單元/分區
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
710‧‧‧寫碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面內變換單元
900‧‧‧寫碼單元/當前最大寫碼單元
910‧‧‧預測單元
912‧‧‧分區類型/分區
914‧‧‧分區類型
916‧‧‧分區類型
918‧‧‧分區類型
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分區類型
944‧‧‧分區類型
946‧‧‧分區類型
948‧‧‧分區類型
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元/最小寫碼單元
990‧‧‧預測單元
992‧‧‧分區類型
994‧‧‧分區類型
996‧‧‧分區類型
998‧‧‧分區類型
999‧‧‧資料單元
1010‧‧‧寫碼單元/編碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元/編碼單元
1016‧‧‧寫碼單元/編碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元/編碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元/編碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元/編碼單元
1050‧‧‧寫碼單元/編碼單元
1052‧‧‧寫碼單元/編碼單元
1054‧‧‧寫碼單元/編碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1300‧‧‧最大寫碼單元
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分區類型
1324‧‧‧分區類型
1326‧‧‧分區類型
1328‧‧‧分區類型
1332‧‧‧分區類型
1334‧‧‧分區類型
1336‧‧‧分區類型
1338‧‧‧分區類型
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
11000‧‧‧內容供應系統
11100‧‧‧網際網路
11200‧‧‧網際網路服務提供商
11300‧‧‧串流伺服器
11400‧‧‧通信網路
11700‧‧‧無線基地台
11800‧‧‧無線基地台
11900‧‧‧無線基地台
12000‧‧‧無線基地台
12100‧‧‧電腦
12200‧‧‧個人數位助理
12300‧‧‧視訊攝影機
12500‧‧‧行動電話
12510‧‧‧天線
12520‧‧‧顯示螢幕
12530‧‧‧相機
12540‧‧‧操作面板
12550‧‧‧麥克風
12560‧‧‧槽
12570‧‧‧儲存媒體
12580‧‧‧揚聲器
12600‧‧‧相機
12610‧‧‧通信電路
12620‧‧‧LCD控制器
12630‧‧‧相機介面
12640‧‧‧操作輸入控制器
12650‧‧‧聲音處理器
12660‧‧‧調變/解調變單元
12670‧‧‧記錄/讀取單元
12680‧‧‧多工器/解多工器
12690‧‧‧影像解碼單元/視訊解碼單元
12700‧‧‧電源供應電路
12710‧‧‧中央控制器
12720‧‧‧影像編碼單元
12730‧‧‧同步匯流排
12810‧‧‧TV接收器
12820‧‧‧儲存媒體
12830‧‧‧再生裝置
12840‧‧‧監視器
12850‧‧‧電纜天線
12860‧‧‧家用天線
12870‧‧‧機上盒
12880‧‧‧TV監視器
12890‧‧‧廣播站
12900‧‧‧衛星/通信衛星/廣播衛星
12910‧‧‧天線
12920‧‧‧汽車
12930‧‧‧汽車導航系統
12950‧‧‧硬碟記錄器
12960‧‧‧DVD光碟
12970‧‧‧SD卡
14000‧‧‧雲端計算伺服器
14100‧‧‧使用者資料庫
14200‧‧‧計算資源
14300‧‧‧桌上型PC
14400‧‧‧智慧型TV
14500‧‧‧智慧型電話
14600‧‧‧筆記型電腦
14700‧‧‧攜帶型多媒體播放器
14800‧‧‧平板型PC
26000‧‧‧光碟
26800‧‧‧光碟機
27000‧‧‧電腦系統
CU_0‧‧‧當前寫碼單元
CU_1‧‧‧寫碼單元
CU_(d-1)‧‧‧寫碼單元
Se‧‧‧磁區
Tr‧‧‧同心磁軌
圖1A為根據本發明之一實施例的畫面間預測裝置的方塊圖。
圖1B為說明根據本發明之一實施例的畫面間預測方法的流程圖。
圖2A為根據本發明之一實施例的動作補償裝置的方塊圖。
圖2B為說明根據本發明之一實施例的動作補償方法的流程圖。
圖3為展示根據本發明之一實施例的長期參考影像之圖像次序號(POC)資訊的最低有效位元(LSB)資訊以及最高有效位元(MSB)資訊的表。
圖4為根據本發明之一實施例的執行畫面間預測之視訊編碼裝置的方塊圖。
圖5為根據本發明之一實施例的執行動作補償之視訊解碼裝置的方塊圖。
圖6為根據本發明之一實施例的基於根據樹狀結構之寫碼單元的視訊編碼裝置的方塊圖。
圖7為根據本發明之一實施例的基於根據樹狀結構之寫碼單元的視訊解碼裝置的方塊圖。
圖8為用於描述根據本發明之一實施例的寫碼單元之概念的圖式。
圖9為根據本發明之一實施例的基於寫碼單元之影像編碼器的方塊圖。
圖10為根據本發明之一實施例的基於寫碼單元之影像解碼器的方塊圖。
圖11為說明根據本發明之一實施例的根據深度之較深寫碼單元以及分區的圖式。
圖12為用於描述根據本發明之一實施例的寫碼單元與變換單元之間的關係的圖式。
圖13為用於描述根據本發明之一實施例的對應於經寫碼之深度的寫碼單元的編碼資訊的圖式。
圖14為根據本發明之一實施例的根據深度之較深寫碼單元的圖式。
圖15至圖17為用於描述根據本發明之一實施例的寫碼單元、預測單元與變換單元之間的關係的圖式。
圖18為用於描述根據表1之編碼模式資訊的寫碼單元、預測單元與變換單元之間的關係的圖式。
圖19為根據本發明之一實施例的儲存有程式之光碟的實體結構的圖式。
圖20為藉由使用光碟來記錄並讀取程式之光碟機的圖式。
圖21為用於提供內容散佈服務之內容供應系統的整體結構的圖式。
圖22與圖23分別為根據本發明之一實施例的應用了視訊編碼方法與視訊解碼方法之行動電話的外部結構與內部結構的圖式。
圖24為根據本發明之一實施例的應用了通信系統之數位廣播系統的圖式。
圖25為說明根據本發明之一實施例的使用視訊編碼裝置與視訊解碼裝置之雲端計算系統的網路結構的圖式。
最佳模式
根據本發明之一態樣，提供一種畫面間預測方法，其包含：藉由使用儲存於解碼圖像緩衝區中之長期參考影像來對當前影像執行畫面間預測；判定經由所述畫面間預測而產生之當前影像之殘餘資料以及動作向量；以及藉由將所述長期參考影像之圖像次序號(POC)資訊劃分為最高有效位元(MSB)資訊以及最低有效位元(LSB)資訊，來將所述LSB資訊判定為指示所述長期參考影像之長期參考索引。
所述LSB資訊之判定可包含：將用於當前片段之畫面間預測的長期參考影像之POC資訊的LSB資訊作為所述長期參考索引插入至片段標頭中。
所述LSB資訊之判定可包含：將所述當前影像的POC 資訊與所述長期參考影像的所述POC資訊之間的差別資訊劃分為MSB資訊以及LSB資訊，以將所述差別資訊之所述LSB資訊判定為所述長期參考索引。
所述畫面間預測方法可更包含：藉由使用儲存於所述解碼圖像緩衝區中之短期參考影像來對所述當前影像執行畫面間預測；以及將所述短期參考影像之POC資訊的LSB資訊判定為指示所述短期參考影像之短期參考索引。
所述殘餘資料以及所述動作向量之判定可包含：基於根據所述當前影像之區塊而執行的畫面間預測的結果，根據所述當前影像的所述區塊判定所述殘餘資料以及所述動作向量。
根據本發明之另一態樣，提供一種動作補償方法，其包含：接收經編碼之影像資料、動作向量以及長期參考索引；藉由對所述經編碼之影像資料進行解碼來復原當前影像的殘餘資料；藉由自所述長期參考索引讀取所述長期參考影像之圖像次序號(POC)資訊的最低有效位元(LSB)資訊來使用所述當前影像之長期參考影像的最高有效位元(MSB)資訊以及所述LSB資訊，而判定所述POC資訊；以及藉由基於儲存於解碼圖像緩衝區中之參考影像中的對應於所判定之POC資訊的所述長期參考影像使用所述動作向量以及所述殘餘資料執行動作補償來復原所述當前影像。
所述POC資訊之判定可包含：自用於所述當前影像之多個長期參考影像中的第一長期參考影像之POC資訊的MSB資訊預測第二長期參考影像之POC資訊的MSB資訊；以及藉由組 合自所接收之長期參考索引讀取的所述第二長期參考影像之所述POC資訊的LSB資訊以及所述第二長期參考影像之所述POC資訊的所述MSB資訊，來復原所述第二長期參考影像之所述POC資訊。
所述POC資訊之判定可包含：藉由組合所述長期參考影像之所述POC資訊的所述MSB資訊與所述LSB資訊，來復原所述當前影像的POC資訊與所述長期參考影像的所述POC資訊之間的差別資訊；以及藉由將所述差別資訊與所述當前影像的所述POC資訊相加或自所述當前影像的所述POC資訊減去所述差別資訊，來判定所述長期參考影像之POC號。
所述接收可包含自片段標頭剖析指示用於當前片段之動作補償的長期參考影像的所述長期參考索引。
所述動作補償方法可更包含：接收用於所述當前影像之畫面間預測的短期參考索引；自所述短期參考索引讀取用於所述當前影像之畫面間預測的所述短期參考影像之POC資訊的LSB資訊；藉由使用所述短期參考影像之所述所讀取之LSB資訊以及先前短期參考影像之MSB資訊，來判定所述短期參考影像之所述POC資訊；以及藉由使用儲存於所述解碼圖像緩衝區中之參考影像中的對應於所述所判定之POC資訊的所述短期參考影像，來對所述當前影像執行動作補償。
所述接收可包含根據所述當前影像之區塊接收所述經編碼之影像資料，所述殘餘資料之復原可包含根據所述區塊復原所述殘餘資料以及所述動作向量，且所述當前影像之復原可包含 藉由根據所述區塊使用所述殘餘資料以及所述動作向量而執行動作補償來復原所述當前影像。
根據本發明之另一態樣，提供一種畫面間預測裝置，其包含：畫面間預測單元，其用於藉由使用儲存於解碼圖像緩衝區中之長期參考影像來對當前影像執行畫面間預測；輸出單元，其用於藉由將所述長期參考影像之圖像次序號(POC)資訊劃分為最高有效位元(MSB)資訊與最低有效位元(LSB)資訊，來將所述LSB資訊作為指示所述長期參考影像之長期參考索引而輸出，以及輸出經由所述畫面間預測而產生之當前影像之殘餘資料與動作向量。
根據本發明之另一態樣，提供一種動作補償裝置，其包含：接收單元，其用於接收經編碼之影像資料、動作向量以及長期參考索引；以及動作補償單元，其用於藉由對所述經編碼之影像資料進行解碼來復原當前影像的殘餘資料、自所述長期參考索引讀取所述當前影像的長期參考影像之圖像次序號(POC)資訊的最低有效位元(LSB)資訊、藉由使用所述長期參考影像的最高有效位元(MSB)資訊與所述LSB資訊判定所述POC資訊以及藉由基於儲存於解碼圖像緩衝區中之參考影像中的對應於所述所判定之POC資訊的所述長期參考影像使用所述動作向量與所述殘餘資料執行動作補償復原所述當前影像。
根據本發明之另一態樣，提供一種電腦可讀記錄媒體，其上記錄有用於執行畫面間預測方法之程式。
根據本發明之另一態樣，提供一種電腦可讀記錄媒體， 其上記錄有用於執行動作補償方法之程式。
根據本發明之另一態樣，提供一種視訊編碼裝置，其包含：解碼圖像緩衝區，其用於儲存用於影像之畫面間預測的參考影像；畫面間預測單元，其用於藉由使用儲存於所述解碼圖像緩衝區中之長期參考影像對當前影像執行畫面間預測，來產生殘餘資料；變換量化單元，其用於藉由對所述殘餘資料執行變換以及量化來產生經量化之變換係數；以及熵編碼單元，其用於藉由將所述長期參考影像之圖像次序號(POC)資訊劃分為最高有效位元(MSB)資訊以及最低有效位元(LSB)資訊，來對所述LSB資訊(其為指示所述長期參考影像的長期參考索引)以及包含所述經量化之變換係數以及動作向量的符號執行熵編碼。
根據本發明之另一態樣，提供一種視訊解碼裝置，其包含：接收單元，其用於接收視訊串流且藉由對所接收之視訊串流執行熵解碼來剖析經編碼之影像資料、動作向量以及長期參考索引；逆量化與逆變換單元，其用於藉由對所述經編碼之影像資料執行逆量化與逆變換來復原殘餘資料；解碼圖像緩衝區，其用於儲存用於動作補償之參考影像；動作補償單元，其用於藉由對所述經編碼之影像資料進行解碼來復原當前影像之殘餘資料、自所述長期參考索引讀取所述當前影像之長期參考影像的圖像次序號(POC)資訊的最低有效位元(LSB)資訊、藉由使用所述長期參考影像之最高有效位元(MSB)資訊以及所述LSB資訊來判定所述POC資訊以及基於儲存於所述解碼圖像緩衝區中之參考影像中的對應於所判定之POC資訊的所述長期參考影像使用所述動作向 量以及所述殘餘資料來執行動作補償；以及迴路內濾波單元，其用於對經由所述動作補償而產生之所復原之影像執行解區塊濾波。
本發明之模式
在下文中，將參考圖1至圖3描述根據本發明之實施例的使用長期參考影像之畫面間預測方法與畫面間預測裝置以及動作補償方法與動作補償裝置。且，將參考圖4與圖5描述根據本發明之實施例的執行畫面間預測之視訊編碼裝置以及執行動作補償之視訊解碼裝置。且，將參考圖6至圖18描述根據本發明之實施例的涉及基於具有樹狀結構之寫碼單元的畫面間預測的視訊編碼技術與視訊解碼技術。在下文中，「影像」可表示視訊之靜態影像或動態影像或視訊自身。
首先，將參考圖1A至圖3描述根據本發明之實施例的使用長期參考影像之畫面間預測方法與畫面間預測裝置。接著，將參考圖4與圖5描述根據本發明之實施例的涉及畫面間預測之視訊編碼方法與視訊解碼方法。
圖1A為根據本發明之一實施例的畫面間預測裝置10的方塊圖。
畫面間預測裝置10包含畫面間預測單元12以及輸出單元14。
畫面間預測使用當前影像與另一影像之間的類似性。自先於當前影像復原之參考影像偵測類似於所述當前影像之當前區域的參考區域。所述當前區域與所述參考區域之間在座標上的距 離表達為動作向量，且所述當前區域與所述參考區域之像素值之間的差別表示為殘餘資料。因此，可經由所述當前區域之畫面間預測輸出指示參考影像、動作向量以及殘餘資料的索引，而非直接輸出所述當前區域之影像資訊。
根據實施例的畫面間預測裝置10可根據視訊之每一影像之區塊執行畫面間預測。區塊可為正方形、矩形或任意的幾何形狀，且並不限制於具有預定大小之資料單元。根據實施例的所述區塊可為根據樹狀結構之寫碼單元中的最大寫碼單元、寫碼單元、預測單元或變換單元。稍後將參考圖6至圖18描述基於根據樹狀結構之寫碼單元的視訊編碼與解碼方法。
用於當前影像之畫面間預測的參考影像必須先於所述當前影像進行解碼。根據實施例的用於畫面間預測的參考影像可分類為短期參考影像以及長期參考影像。解碼圖像緩衝區儲存經由先前影像之動作補償而產生的所復原之影像。所產生的所復原之影像可用作用於其他影像之畫面間預測的參考影像。因此，可自儲存於解碼圖像緩衝區中的所復原之影像選擇用於所述當前影像之畫面間預測的至少一個短期參考影像或至少一個長期參考影像。所述短期參考影像可為根據解碼次序在當前影像之前即刻或不久進行解碼的影像，而所述長期參考影像可為早在當前影像之前已解碼但被選擇並儲存於解碼圖像緩衝區中以用作用於其他影像之畫面間預測的參考影像的影像。
在儲存於所述解碼圖像緩衝區中的所復原之影像中，短期參考影像與長期參考影像彼此區分開。所述長期參考影像為可 針對多個影像之畫面間預測進行參考的影像，且長時間儲存於解碼圖像緩衝區中。另一方面，每一者針對當前影像與後續影像之畫面間預測而被參考且為每一影像所需短期參考影像可進行更新，且因而解碼圖像緩衝區中的短期參考影像可頻繁更新。因此，當新的短期參考影像儲存於解碼圖像緩衝區中時，預先儲存之短期參考影像中的最早的短期參考影像依序刪除。
畫面間預測單元12可藉由使用儲存於解碼圖像緩衝區中之長期參考影像來對當前影像執行畫面間預測。
輸出單元14可輸出經由畫面間預測單元12之畫面間預測而產生的當前影像之殘餘資料與動作向量。
輸出單元14可將所述長期參考影像之圖像次序號(POC)資訊的最低有效位元(LSB)資訊判定為指示所述長期參考影像之長期參考索引。輸出單元14可將所述長期參考影像之POC資訊劃分為最高有效位元(MSB)資訊以及LSB資訊，且僅將LSB資訊作為指示所述長期參考影像之所述長期參考索引而輸出。
畫面間預測單元12可按照片段判定長期參考影像。因此，輸出單元14可將用於當前片段之畫面間預測的長期參考影像之POC資訊的LSB資訊作為所述長期參考索引插入至片段標頭中。當前片段之區塊的參考影像之POC資訊的LSB資訊可插入至所述片段標頭中，且接著進行傳輸。
根據片段判定長期參考影像，且可根據片段中的區塊執行畫面間預測。換言之，畫面間預測單元12可藉由參考長期參考 影像根據當前片段之區塊來執行所述畫面間預測。因此，根據當前片段之區塊自長期參考影像判定參考區塊，且可根據所述區塊關於參考區塊判定動作向量與殘餘資料。因此，輸出單元14可根據當前片段之區塊輸出動作向量與殘餘資料。
或者，輸出單元14可將長期參考影像之POC資訊與當前影像之POC資訊之間的差別資訊劃分為MSB資訊與LSB資訊，並將所述差別資訊之LSB資訊作為長期參考索引而輸出。
畫面間預測單元12可藉由參考短期參考影像來對當前影像執行畫面間預測。在此狀況下，在所述短期參考影像之POC資訊的MSB與LSB資訊之間，輸出單元14可僅將LSB資訊作為指示短期參考影像之短期參考索引而輸出。
畫面間預測裝置10可包含大體上控制畫面間預測單元12與輸出單元14的中央處理器(未圖示)。或者，畫面間預測單元12與輸出單元14可各自由自處理器(未圖示)操作，且自處理器可互相地系統地操作，以使得畫面間預測裝置10操作。或者，畫面間預測單元12與輸出單元14可根據畫面間預測裝置10之外部處理器(未圖示)進行控制。
畫面間預測裝置10可包含其中儲存有畫面間預測單元12與輸出單元14之輸入與輸出資料的一個或多個資料儲存單元(未圖示)。畫面間預測裝置10可包含用於控制資料儲存單元之資料輸入與輸出的記憶體控制單元(未圖示)。
圖1B為說明根據本發明之一實施例的畫面間預測方法的流程圖。
在操作13中，畫面間預測裝置10可藉由使用儲存於解碼圖像緩衝區中之長期參考影像來對當前影像執行畫面間預測。在操作15中，畫面間預測裝置10可根據畫面間預測判定當前影像之殘餘資料與動作向量。在操作17中，畫面間預測裝置10可將長期參考影像之POC資訊劃分為MSB資訊與LSB資訊，並將長期參考影像之POC資訊的LSB資訊判定為長期參考索引。
作為在操作13至操作17中畫面間預測裝置10藉由使用長期參考影像對當前影像執行畫面間預測的結果，可輸出當前影像的殘餘資料與動作向量，且可將長期參考影像之POC資訊的LSB資訊作為用於指示當前影像之長期參考影像的資訊而輸出。
圖2A為根據本發明之一實施例的動作補償裝置20的方塊圖。
動作補償裝置20包含接收單元22與動作補償單元24。
接收單元22可接收經編碼之影像資料、動作向量以及長期參考索引。
當前影像與參考影像之間的動作向量與殘餘資料作為畫面間預測之結果而產生。藉由使用參考影像、殘餘資料以及動作向量來復原當前影像之程序是動作補償。動作補償單元24可藉由使用接收單元22所接收之當前影像的殘餘資料與動作向量執行動作補償來復原當前影像。
動作補償單元24可藉由對經編碼之影像資料進行解碼來復原當前影像之殘餘資料。當經編碼之影像資料為經量化之變換係數時，動作補償單元24可藉由對所述經編碼之影像資料執行 逆量化與逆變換來復原當前影像之殘餘資料，且接著對所述殘餘資料執行動作補償。
詳言之，動作補償單元24可根據影像之區塊執行動作補償。區塊可為正方形、矩形或任意幾何形狀，且可為預測單元之樹狀結構的寫碼單元。如上文參考圖1A所述，區塊並不限制於具有預定大小之資料單元。
因此，接收單元22可根據當前影像之區塊接收經編碼之影像資料，且動作補償單元24可根據所述區塊復原殘餘資料與動作向量，以根據區塊使用所述殘餘資料與所述動作向量執行動作補償。可藉由對影像中的全部區塊執行動作補償來復原當前影像。
動作補償單元24可自長期參考索引讀取當前影像之長期參考影像之POC資訊的LSB資訊。動作補償單元24可藉由組合長期參考影像之POC資訊的MSB資訊與自長期參考索引讀取的LSB資訊，來判定長期參考影像之POC資訊。
動作補償單元24可自儲存於解碼圖像緩衝區中的參考影像判定對應於所判定之POC資訊的長期參考影像。動作補償單元24可基於所判定之長期參考影像，藉由使用動作向量與殘餘資料來對當前影像執行動作補償。所述當前影像可經由動作補償而復原。
動作補償單元24可自儲存於解碼圖像緩衝區中之用於當前影像之多個長期參考影像中的第一長期參考影像之MSB資訊預測第二長期參考影像的MSB資訊。
舉例而言，動作補償單元24可比較第二長期參考影像之POC資訊的LSB資訊與第一長期參考影像之POC資訊的LSB資訊，以判定第二長期參考影像的POC資訊的MSB資訊是大於、小於還是等於第一長期參考影像的POC資訊的MSB資訊。因此，可自第一長期參考影像的POC資訊的MSB資訊預測第二長期參考影像的POC資訊的MSB資訊。動作補償單元24可藉由組合自所接收之長期參考索引讀取的第二長期參考影像之POC資訊的LSB資訊與第二長期參考影像之POC資訊的所預測之MSB資訊，來復原第二長期參考影像的POC資訊。
或者，動作補償單元24可接收長期參考影像之POC資訊的LSB資訊與長期參考影像之POC資訊的MSB資訊兩者，作為用於當前影像之長期參考索引。在此狀況下，動作補償單元24可藉由組合自所接收之長期參考索引讀取的長期參考影像之POC資訊的LSB與MSB資訊，來復原長期參考影像的POC資訊。
動作補償單元24可自長期參考索引讀取當前影像之POC資訊與長期參考影像之POC資訊之間的差別資訊的LSB資訊。此處，動作補償單元24可藉由組合MSB資訊與LSB資訊來復原所述差別資訊。動作補償單元24可藉由自當前影像之POC資訊減去所復原之差別資訊或將所述所復原之差別資訊與當前影像之POC資訊相加，來判定長期參考影像之POC號。
接收單元22可自片段標頭剖析當前片段之長期參考索引。可自所述片段標頭剖析用於當前片段之區塊的參考影像之POC資訊的LSB資訊。
或者，接收單元22可接收用於當前影像之畫面間預測的短期參考索引。可自所述短期參考索引讀取用於當前影像之畫面間預測的短期參考影像之POC資訊的LSB資訊。動作補償單元24可藉由使用短期參考影像的POC資訊的所讀取之LSB資訊與短期參考影像的MSB資訊，來判定短期參考影像之POC資訊。動作補償單元24可藉由使用儲存於解碼圖像緩衝區中之參考影像中的對應於所判定之POC資訊的短期參考影像來對當前影像執行動作補償。
圖2B為說明根據本發明之一實施例的動作補償方法的流程圖。
在操作21中，動作補償裝置20可接收經編碼之影像資料、動作向量以及長期參考索引。在操作23中，動作補償裝置20可藉由對經編碼之影像資料進行解碼來復原當前影像之殘餘資料。在操作25中，動作補償裝置20可自長期參考索引讀取當前影像之長期參考影像的POC資訊的LSB資訊，並藉由使用長期參考影像之POC資訊的MSB與LSB資訊，來判定長期參考影像之POC資訊。在操作27中，動作補償裝置20可藉由基於儲存於解碼圖像緩衝區中之參考影像中的對應於操作25中所判定之POC資訊的長期參考影像使用動作向量與殘餘資料執行動作補償，來復原當前影像。
換言之，動作補償裝置20可自儲存於解碼圖像緩衝區中之所復原之影像選擇對應於操作25中所判定之POC資訊的長期參考影像，並自所選擇之長期參考影像判定由動作向量指示的 參考區域。動作補償裝置20可執行動作補償，以藉由組合殘餘資料與所判定之參考區域來判定當前區域。動作補償裝置20可藉由根據當前影像之區塊執行動作補償來復原所述當前影像。
根據上文參考圖1A與圖1B所描述的畫面間預測裝置10以及上文參考圖2A與圖2B所描述的動作補償裝置20，長期參考影像之POC資訊的LSB資訊可用作指示用於影像之畫面間預測之參考影像中的長期參考影像的長期參考索引。所述長期參考影像可藉由使用POC資訊來指示，而不必為識別所述長期參考影像而將單獨影像號用於所述長期參考影像。因此，可不備用儲存用於長期參考影像之單獨影像號的儲存空間。另外，指示長期參考影像之索引的範圍可為無限的。
圖3為展示根據本發明之一實施例的長期參考影像之POC資訊的LSB資訊與MSB資訊的表。
畫面間預測裝置10與動作補償裝置20使用長期參考影像之POC資訊，以指示所述長期參考影像。且，所述POC資訊被劃分為MSB資訊與LSB資訊。可預先設定LSB資訊的最大大小。在圖3中，LSB資訊的範圍為自0至15，且因而LSB資訊的最大大小為16，亦即4個位元。
當POC資訊除以LSB資訊之最大大小時，商可為MSB資訊，且餘數可為LSB資訊。
因此，當POC資訊自0增大至15時，POC資訊的MSB資訊為0且LSB資訊自0增大至15。且，當POC資訊自16增大至31時，MSB資訊為1且LSB資訊自0增大至15。且，當POC 資訊自32增大至47時，MSB資訊為2且LSB資訊自0增大至15。且，當POC資訊為48時，MSB資訊為3且LSB資訊為0。
在圖3中，MSB資訊0、1、2以及3全部為十六進數，且分別表示十進數的0、16、32以及48。
當POC資訊自15增大至16、自31增大至32、自47增大至48時，LSB資訊自15返回至0。換言之，只要LSB資訊在依序增大時增大至最大大小的倍數，LSB資訊便可自最大值迴繞至最小值。
當預先檢查POC資訊之MSB資訊後僅額外判定LSB資訊時，可藉由合併MSB資訊與LSB資訊來判定POC資訊。
因此，畫面間預測裝置10可僅輸出長期參考影像之POC資訊的LSB資訊，以便輸出指示所述長期參考影像的長期參考索引。動作補償裝置20可自接收自畫面間預測裝置10之參考索引讀取長期參考影像之POC資訊的LSB資訊，並藉由合併LSB資訊與預先獲得的MSB資訊來復原所述長期參考影像之所述POC資訊。
或者，所述長期參考索引可表示當前影像之POC資訊與參考影像之POC資訊之間的差別資訊的LSB資訊。此處，動作補償裝置20可自所述長期參考索引讀取所述當前影像之所述POC資訊與長期參考影像之POC資訊之間的差別資訊的LSB資訊(DeltaPOCLtM1Lsb)。動作補償裝置20可藉由合併預定的MSB資訊(DeltaPOCLtM1Msb)與所讀取之LSB資訊(DeltaPOCLtM1Lsb)，來判定所述當前影像之所述POC資訊與所 述長期參考影像之所述POC資訊之間的所述差別資訊(DeltaPOCLtM1)(DeltaPOCLtM1=DeltaPOCLtM1Msb+DeltaPOCLtM1Lsb)。且，當自所述當前影像之POC資訊(PicOrderCnt)減去所判定之差別資訊(DeltaPOCLtM1)時，可判定所述當前影像之所述長期參考影像的POC資訊(RefPicSetLtCurr)(RefPicSetLtCurr=PicOrderCnt-DeltaPOCLtM1)。
動作補償裝置20可自畫面間預測裝置10接收所述長期參考影像之所述POC資訊的MSB資訊。此處，動作補償裝置20可藉由合併所述長期參考影像之所述POC資訊的所接收之MSB資訊與LSB資訊，來復原所述長期參考影像之所述POC資訊。
或者，動作補償裝置20可基於多個長期參考影像中的預先判定之先前長期參考影像的POC資訊的MSB資訊，來判定當前長期參考影像之POC資訊的MSB資訊。舉例而言，所述當前長期參考影像之所述POC資訊的所述MSB資訊(POCLtM1Msb)可i)比所述先前長期參考影像之所述POC資訊的所述MSB資訊(prevPOCLtM1Msb)大LSB資訊的最大大小(MaxPOCLtLsb)，ii)比所述先前長期參考影像之所述POC資訊的所述MSB資訊(prevPOCLtM1Msb)小LSB資訊的最大大小(MaxPOCLtLsb)，或iii)與所述先前長期參考影像之所述POC資訊的所述MSB資訊(prevPOCLtM1Msb)相等。
舉例而言，動作補償裝置20可比較先前長期參考影像之POC資訊的LSB資訊與當前長期參考影像之POC資訊的LSB 資訊，以判定所述當前長期參考影像的所述POC資訊的MSB資訊是否大於或等於所述先前長期參考影像的所述POC資訊的MSB資訊。
根據第一條件，所述當前長期參考影像的所述POC資訊的LSB資訊(POCLtLsbM1)可小於所述先前長期參考影像的所述POC資訊的LSB資訊(prevPOCLtLsbM1)，且所述當前長期參考影像與所述先前長期參考影像的POC資訊的LSB資訊之間的距離大於或等於LSB資訊的最大大小的一半(MaxPOCLtLsb/2)。當滿足所述第一條件時，所述當前長期參考影像的所述POC資訊的MSB資訊(POCLtM1Msb)比所述先前長期參考影像的所述POC資訊的MSB資訊(prevPOCLtM1Msb)大LSB資訊之最大大小(MaxPOCLtLsb)。
[根據第一條件之關連式表式]
換言之，在第一條件中，判定LSB資訊自先前長期參考影像之POC資訊按照增大的方向迴繞至當前長期參考影像的POC資訊，且因而所述當前長期參考影像的所述POC資訊的MSB資訊相對增大。
根據第二條件，所述當前長期參考影像的所述POC資訊的LSB資訊(POCLtLsbM1)可大於所述先前長期參考影像的所述POC資訊的LSB資訊(prevPOCLtLsbM1)，且所述當前長期 參考影像與所述先前長期參考影像的POC資訊的LSB資訊之間的距離大於或等於LSB資訊的最大大小的一半(MaxPOCLtLsb/2)。當滿足所述第二條件時，所述當前長期參考影像的所述POC資訊的MSB資訊(POCLtM1Msb)比所述先前長期參考影像的所述POC資訊的MSB資訊(prevPOCLtM1Msb)小LSB資訊之最大大小(MaxPOCLtLsb)。
[根據第二條件之關連式表式]
換言之，在第二條件中，判定LSB資訊自先前長期參考影像之POC資訊按照減小的方向迴繞至當前長期參考影像的POC資訊，且因而所述當前長期參考影像的所述POC資訊的MSB資訊相對減小。
當第一條件與第二條件無法應用時，應用第三條件。在第三條件中，所述當前長期參考影像的所述POC資訊的MSB資訊(POCLtM1Msb)可等於所述先前長期參考影像的所述POC資訊的MSB資訊(prevPOCLtM1Msb)。
[根據第三條件之關連式表式]
POCLtM1Msb=prevPOCLtM1Msb
藉由考慮第一條件至第三條件全部三者來判定所述當前長期參考影像的所述POC資訊的MSB資訊(POCLtM1Msb)，且可藉由合併自長期參考索引讀取之所述當前長期參考影像的所 述POC資訊的LSB資訊(POCLtM1Lsb)與所判定之MSB資訊(POCLtM1Msb)來判定所述當前長期參考影像的所述POC資訊(POCLtM1)(POCLtM1=POCLtM1Msb+POCLtM1Lsb)。
即使在上文所述的當前影像與長期參考影像之POC資訊之間的差別資訊的LSB資訊用作長期參考索引時，亦可判定所述當前影像與所述當前長期參考影像之POC資訊之間的差別資訊的LSB資訊是大於、小於還是等於先前影像與預先判定的先前長期參考影像的POC資訊之間的差別資訊的LSB資訊。
圖4為根據本發明之一實施例的執行畫面間預測之視訊編碼裝置40的方塊圖。
視訊編碼裝置40包含解碼圖像緩衝區42、畫面間預測單元44、變換量化單元46以及熵編碼單元48。
解碼圖像緩衝區42儲存先前復原之影像。可自儲存於解碼圖像緩衝區42中之所復原之影像判定用於影像之畫面間預測的參考影像。畫面間預測單元44可藉由使用自儲存於解碼圖像緩衝區42中的所復原之影像選擇之長期參考影像對當前影像執行畫面間預測，來產生殘餘資料。畫面間預測單元44可執行與上文所述之畫面間預測裝置10相同的操作。
變換量化單元46可藉由對畫面間預測單元44所產生之殘餘資料執行變換與量化來產生經量化之變換係數。熵編碼單元48可對包含經量化之變換係數以及動作向量的符號執行熵編碼。
因此，視訊編碼裝置40可根據視訊之影像的區塊執行畫面間預測，藉由對經由畫面間預測根據區塊而產生的殘餘資料 執行變換與量化，來根據所述區塊產生經量化之變換係數，並藉由對所述經量化之變換係數執行熵編碼來輸出位元串流，藉此對所述視訊進行編碼。
熵編碼單元48可將經由畫面間預測而判定之動作向量與經量化之變換係數一起輸出。因此，可對包含經量化之變換係數以及動作向量的符號執行熵編碼。
且，由畫面間預測單元44判定之長期參考索引可作為所述符號而輸出。所述長期參考索引可為長期參考影像之POC資訊的LSB資訊。因此，熵編碼單元48可對包含經量化之變換係數、動作向量以及長期參考索引的符號執行熵編碼。熵編碼單元48可輸出根據所述熵編碼而產生的位元串流。
且，視訊編碼裝置40可藉由參考儲存於解碼圖像緩衝區42中的所復原之影像使用當前影像之殘餘資料與動作向量執行動作補償，來產生所述當前影像之所復原之影像。因此，視訊編碼裝置40可執行動作補償裝置20之操作以執行動作補償。
換言之，視訊編碼裝置40可自長期參考索引讀取POC資訊之LSB資訊，並藉由使用所讀取之LSB資訊來復原長期參考影像之POC資訊，以便選擇用於動作補償的長期參考影像。視訊編碼裝置40可自儲存於解碼圖像緩衝區42中的所復原之影像選擇對應於所復原之POC資訊的長期參考影像，並基於所選擇之長期參考影像使用當前影像的殘餘資料與動作向量執行動作補償。
為輸出視訊編碼結果，視訊編碼裝置40可與安裝於其中的視訊編碼處理器或外部視訊編碼處理器協同操作，以便執行 包含畫面內預測、畫面間預測、變換以及量化之視訊編碼操作。不僅可在視訊編碼裝置40包含單獨內部視訊編碼處理器時執行所述視訊編碼操作，而且可在視訊編碼裝置40或用於控制視訊編碼裝置40之中央處理裝置或圖形處理裝置包含視訊編碼處理模組時執行所述視訊編碼操作。
圖5為根據本發明之一實施例的執行動作補償之視訊解碼裝置50的方塊圖。
視訊解碼裝置50可包含接收單元52、逆量化與逆變換單元54、解碼圖像緩衝區56、動作補償單元58以及迴路內濾波單元59。
接收單元52可接收視訊串流並對所接收之視訊串流執行熵解碼，以剖析經編碼之影像資料。
逆量化與逆變換單元54可藉由對接收單元52所剖析之經編碼之影像資料執行逆量化與逆變換來復原殘餘資料。
接收單元52可自視訊串流剖析動作向量。解碼圖像緩衝區56可儲存可用作用於其他影像之動作補償的參考影像的先前復原之影像。動作補償單元58可基於儲存於解碼圖像緩衝區56中的參考影像使用所述動作向量與所述殘餘資料執行動作補償。
迴路內濾波單元59可對由動作補償單元58復原並輸出之所復原之影像執行解區塊濾波。迴路內濾波單元59可輸出最終的所復原之影像。且，迴路內濾波單元59之輸出影像可儲存於解碼圖像緩衝區56中，並用作用於後續影像之動作補償的參考影像。
視訊解碼裝置50可藉由根據視訊之影像的區塊執行解 碼來復原所述視訊。接收單元52可根據所述區塊剖析經編碼之影像資料與動作向量，且逆量化與逆變換單元54可藉由根據所述區塊執行逆量化與逆變換來根據所述區塊復原殘餘資料。動作補償單元58可根據所述區塊判定參考影像中由動作向量指示之參考區塊，並藉由組合所述參考區塊與所述殘餘資料來產生所復原之區塊。
接收單元52可自視訊串流剖析長期參考索引。動作補償單元58可執行與上文所述之動作補償裝置20相同的操作。動作補償單元58可自長期參考索引讀取當前影像之長期參考影像的POC資訊的LSB資訊，並藉由使用所述長期參考影像之MSB與LSB資訊來判定所述長期參考影像之所述POC資訊。動作補償單元58可基於儲存於解碼圖像緩衝區56中之所復原之影像中的對應於POC資訊的長期參考影像使用動作向量與殘餘資料來執行動作補償。換言之，動作補償單元58可判定長期參考影像中的動作向量所指示的參考區塊，並藉由組合所述參考區塊與所述殘餘資料來復原當前區塊。
為輸出視訊解碼結果，視訊解碼裝置50可與安裝於其中的視訊解碼處理器或外部視訊解碼處理器協同操作，以便執行包含逆量化、逆變換、畫面內預測以及動作補償之視訊解碼操作。不僅可在視訊解碼裝置50包含單獨內部視訊解碼處理器時執行所述視訊解碼操作，而且可在視訊解碼裝置50或用於控制視訊解碼裝置50之中央處理裝置或圖形處理裝置包含視訊解碼處理模組時執行所述視訊解碼操作。
如上文所述，畫面間預測裝置10可將視訊資料之區塊分割為具有樹狀結構之寫碼單元，且可使用用於寫碼單元之畫面間預測的預測單元。在下文中，將參考圖6至圖18描述基於具有樹狀結構之寫碼單元以及變換單元的視訊編碼方法、視訊編碼裝置、視訊解碼方法以及視訊解碼裝置。
圖6為根據本發明之一實施例的基於根據樹狀結構之寫碼單元的視訊編碼裝置100的方塊圖。
涉及基於根據樹狀結構之寫碼單元的視訊預測的視訊編碼裝置100包含最大寫碼單元分割器110、寫碼單元判定器120以及輸出單元130。
最大寫碼單元分割器110可基於影像之當前圖像的最大寫碼單元來分割當前圖像，所述最大寫碼單元為具有最大大小之寫碼單元。若當前圖像大於最大寫碼單元，則當前圖像之影像資料可分割為至少一個最大寫碼單元。根據本發明一實施例的最大寫碼單元可為大小為32×32、64×64、128×128、256×256等之資料單元，其中所述資料單元之形狀為寬度以及長度為2的平方之正方形。所述影像資料可根據至少一個最大寫碼單元而輸出至寫碼單元判定器120。
根據本發明之一實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示寫碼單元自最大寫碼單元在空間上分割之次數，且隨著深度加深，根據深度之較深寫碼單元可自最大寫碼單元分割為最小寫碼單元。最大寫碼單元之深度為最上層深度，且最小寫碼單元之深度為最下層深度。由於對應於每一深度 之寫碼單元的大小隨著最大寫碼單元之深度加深而減小，因此對應於較上層深度之寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上文所述，當前圖像之影像資料根據寫碼單元之最大大小分割為最大寫碼單元，且最大寫碼單元中之每一者可包含根據深度而分割的較深寫碼單元。由於根據本發明之一實施例的最大寫碼單元是根據深度來分割，因此包含於最大寫碼單元中之空間域的影像資料可根據深度而階層式分類。
限制最大寫碼單元之高度以及寬度階層式分割之總次數的寫碼單元之最大深度以及最大大小可為預定的。
寫碼單元判定器120對藉由根據深度來分割最大寫碼單元之區域而獲得的至少一個分割區域進行編碼，並判定深度以根據所述至少一個分割區域輸出最終編碼之影像資料。換言之，寫碼單元判定器120藉由根據當前圖像之最大寫碼單元來對根據深度之較深寫碼單元中之影像資料進行編碼以及選擇具有最小編碼誤差的深度來判定經寫碼之深度。所判定之經寫碼之深度以及根據所判定之經寫碼之深度的經編碼之影像資料輸出至輸出單元130。
基於對應於等於或低於最大深度之至少一個深度的較深寫碼單元，對最大寫碼單元中之影像資料進行編碼，且基於較深寫碼單元中的每一者比較對影像資料進行編碼之結果。可在比較較深寫碼單元之編碼誤差之後，選擇具有最小編碼誤差的深度。可針對每一最大寫碼單元選擇至少一個經寫碼之深度。
隨著寫碼單元根據深度而階層式分割，且隨著寫碼單元之數目增大，最大寫碼單元的大小被分割。且，即使寫碼單元對應於一個最大寫碼單元中之同一深度，仍藉由單獨量測每一寫碼單元之影像資料的編碼誤差而判定是否將對應於同一深度之寫碼單元中的每一者分割為較下層深度。因此，即使當影像資料包含於一個最大寫碼單元中時，編碼誤差可根據此一個最大寫碼單元中之區域而不同，且因而經寫碼之深度可根據影像資料中之區域而不同。因而，可在一個最大寫碼單元中判定一或多個經寫碼之深度，且可根據至少一個經寫碼之深度的寫碼單元而劃分最大寫碼單元之影像資料。
因此，寫碼單元判定器120可判定包含於最大寫碼單元中之具有樹狀結構的寫碼單元。根據本發明之一實施例的「具有樹狀結構的寫碼單元」包含最大寫碼單元中所包含之所有較深寫碼單元中的對應於判定為經寫碼之深度的深度的寫碼單元。可根據最大寫碼單元之同一區域中的深度而階層式判定經寫碼之深度的寫碼單元，且可在不同區域中獨立地進行判定。類似地，可獨立於另一區域中之經寫碼之深度而判定當前區域中之經寫碼之深度。
根據本發明之一實施例的最大深度為與自最大寫碼單元至最小寫碼單元之分割次數相關的索引。根據本發明之一實施例的第一最大深度可表示自最大寫碼單元至最小寫碼單元之總分割次數。根據本發明之一實施例的第二最大深度可表示自最大寫碼單元至最小寫碼單元之總深度層級數。舉例而言，當最大寫碼 單元之深度為0時，最大寫碼單元被分割一次之寫碼單元的深度可設定為1，且最大寫碼單元被分割兩次之寫碼單元的深度可設定為2。此處，若最小寫碼單元為最大寫碼單元被分割四次之寫碼單元，則存在深度0、1、2、3以及4的5個深度層級，且因而第一最大深度可設定為4，且第二最大深度可設定為5。
可根據最大寫碼單元執行預測編碼以及變換。根據最大寫碼單元，亦基於根據等於最大深度之深度或小於最大深度之深度的較深寫碼單元來執行預測編碼以及變換。
由於只要根據深度來分割最大寫碼單元，較深寫碼單元之數目便增大，因此對隨著深度加深而產生的所有較深寫碼單元執行包含預測編碼以及變換的編碼。為便於描述，在最大寫碼單元中，現將基於當前深度之寫碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料進行編碼之資料單元的大小或形狀。為對影像資料進行編碼，執行諸如預測編碼、變換以及熵編碼之操作，且此時，同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言，視訊編碼裝置100除了可選擇用於對影像資料進行編碼的寫碼單元之外，還可選擇不同於寫碼單元之資料單元，以便對寫碼單元中之影像資料執行預測編碼。
為在最大寫碼單元中執行預測編碼，可基於對應於經寫碼之深度的寫碼單元(亦即，基於不再對應於較下層深度分割為寫碼單元的寫碼單元)來執行預測編碼。下文中，不再分割且變為用於預測編碼的基礎單元之寫碼單元現將稱作「預測單元」。藉 由分割預測單元而獲得之分區可包含藉由分割預測單元之高度以及寬度中的至少一者而獲得的預測單元或資料單元。分區為對寫碼單元之預測單元進行分割的資料單元，且預測單元可為大小與寫碼單元相同的分區。
舉例而言，當2N×2N(其中N為正整數)之寫碼單元不再分割且變為2N×2N之預測單元時，分區之大小可為2N×2N、2N×N、N×2N或N×N。分區類型之實例包含藉由對稱地分割預測單元之高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元之高度或寬度(諸如，1：n或n：1)而獲得的分區、藉由用幾何方式分割預測單元而獲得之分區，以及具有任意形狀的分區。
預測單元之預測模式可為畫面內模式、畫面間模式以及跳過模式(skip mode)中之至少一者。舉例而言，可對2N×2N、2N×N、N×2N或N×N之分區執行畫面內模式或畫面間模式。且，可僅對2N×2N之分區執行跳過模式。在寫碼單元中對一個預測單元獨立地執行編碼，藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料進行編碼之寫碼單元而且基於不同於寫碼單元之資料單元而對寫碼單元中的影像資料執行變換。為在寫碼單元中執行變換，可基於具有小於或等於寫碼單元之大小的資料單元來執行變換。舉例而言，用於變換之資料單元可包含用於畫面內模式之資料單元以及用於畫面間模式的資料單元。
寫碼單元中之變換單元可按照與根據樹狀結構之寫碼單元類似之方式按遞回方式分割為大小較小的區域。因而，可根 據具有根據變換深度之樹狀結構的變換單元而劃分寫碼單元中之殘餘資料。
亦可在變換單元中設定變換深度，所述變換深度指示藉由分割寫碼單元之高度以及寬度而達到變換單元之分割次數。舉例而言，在2N×2N之當前寫碼單元中，當變換單元之大小為2N×2N時，變換深度可為0；當變換單元之大小為N×N時，變換深度可為1；且當變換單元之大小為N/2×N/2時，變換深度可為2。換言之，可根據變換深度設定具有樹狀結構之變換單元。
根據對應於經寫碼之深度的寫碼單元的編碼資訊不僅需要關於經寫碼之深度的資訊，而且需要關於預測編碼以及變換的資訊。因此，寫碼單元判定器120不僅判定具有最小編碼誤差之經寫碼之深度，而且判定預測單元中的分區類型、根據預測單元之預測模式以及用於變換之變換單元之大小。
稍後將參考圖8至圖18詳細描述根據本發明之實施例的最大寫碼單元中根據樹狀結構的寫碼單元，以及判定預測單元/分區與變換單元之方法。
寫碼單元判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)來量測根據深度之較深寫碼單元之編碼誤差。
輸出單元130按照位元串流的形式輸出基於由寫碼單元判定器120判定之至少一個經寫碼之深度而編碼的最大寫碼單元之影像資料，以及根據經寫碼之深度關於編碼模式的資訊。
可藉由對影像之殘餘資料進行編碼來獲得經編碼之影 像資料。
根據經寫碼之深度關於編碼模式的資訊可包含關於經寫碼之深度、關於預測單元中之分區類型、預測模式以及變換單元之大小的資訊。
可藉由使用根據深度之分割資訊來定義關於經寫碼之深度的資訊，根據深度之分割資訊指示是否對較下層深度而非當前深度之寫碼單元執行編碼。若當前寫碼單元之當前深度為經寫碼之深度，則當前寫碼單元中之影像資料得以編碼且輸出，且因而分割資訊可定義為不將當前寫碼單元分割為較下層深度。或者，若當前寫碼單元之當前深度並非經寫碼之深度，則對較下層深度之寫碼單元執行編碼，且因而分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。
若當前深度並非經寫碼之深度，則對分割為較下層深度之寫碼單元的寫碼單元執行編碼。由於較下層深度之至少一個寫碼單元存在於當前深度之一個寫碼單元中，因此對較下層深度之每一寫碼單元重複地執行編碼，且因而可對具有同一深度之寫碼單元按遞回方式執行編碼。
由於針對一個最大寫碼單元而判定具有樹狀結構之寫碼單元，且針對經寫碼之深度的寫碼單元而判定關於至少一個編碼模式的資訊，因此可針對一個最大寫碼單元而判定關於至少一個編碼模式的資訊。且，最大寫碼單元之影像資料的經寫碼之深度可根據位置而不同，此是因為根據深度而階層式分割影像資料，且因而可針對影像資料而設定關於經寫碼之深度以及編碼模 式的資訊。
因此，輸出單元130可將關於對應經寫碼之深度以及編碼模式的編碼資訊指派給包含於最大寫碼單元中的寫碼單元、預測單元以及最小單元中之至少一者。
根據本發明之一實施例的最小單元為藉由將構成最下層深度的最小寫碼單元分割為4份而獲得的正方形資料單元。或者，根據實施例的最小單元可為可包含於最大寫碼單元中所包含之所有寫碼單元、預測單元、分區單元以及變換單元中的最大正方形資料單元。
舉例而言，由輸出單元130輸出之編碼資訊可分類為根據較深寫碼單元之編碼資訊，以及根據預測單元的編碼資訊。根據較深寫碼單元之編碼資訊可包含關於預測模式以及關於分區之大小的資訊。根據預測單元之編碼資訊可包含關於畫面間模式之估計方向、關於畫面間模式之參考影像索引、關於動作向量、關於畫面內模式之色度分量以及關於畫面內模式之內插方法的資訊。
關於根據圖像、片段或多個圖像群(Group Of Pictures，GOP)而定義之寫碼單元之最大大小的資訊以及關於最大深度之資訊可插入至位元串流、序列參數集合(Sequence Parameter Set)或圖像參數集合(Picture Parameter Set)的標頭中。
亦可經由位元串流、序列參數集合或圖像參數集合的標頭輸出關於可供當前視訊使用的變換單元之最大大小的資訊以及關於變換單元之最小大小的資訊。輸出單元130可對上文參考圖1 至圖6所描述的與預測有關的參考資訊、預測資訊以及片段類型資訊進行編碼及輸出。
在視訊編碼裝置100中，較深寫碼單元可為藉由將較上層深度之寫碼單元(其為上一層)的高度或寬度劃分為兩份而獲得的寫碼單元。換言之，在當前深度之寫碼單元的大小為2N×2N時，較下層深度之寫碼單元的大小為N×N。且，大小為2N×2N之當前深度的寫碼單元可包含較下層深度的最大4個寫碼單元。
因此，視訊編碼裝置100可基於考慮當前圖像之特性而判定的最大寫碼單元之大小以及最大深度，藉由針對每一最大寫碼單元判定具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構之寫碼單元。且，由於可藉由使用各種預測模式以及變換中之任一者來對每一最大寫碼單元執行編碼，因此可考慮各種影像大小之寫碼單元的特性來判定最佳編碼模式。
因而，若在習知巨集區塊中對具有高解析度或大資料量之影像進行編碼，則每圖像之巨集區塊的數目過度地增大。因此，針對每一巨集區塊產生之壓縮資訊之段數增大，且因而難以傳輸壓縮資訊，且資料壓縮效率降低。然而，藉由使用視訊編碼裝置100，因為在考慮影像之大小而增大寫碼單元的最大大小的同時考慮影像之特性而調整寫碼單元，所以影像壓縮效率可提高。
圖6之視訊編碼裝置100可執行圖1A之畫面間預測裝置10或圖4之視訊編碼裝置40的操作。
寫碼單元判定器120與輸出單元130可執行畫面間預測裝置10或畫面間預測單元44之操作。可針對每個最大寫碼單元 根據具有樹狀結構之寫碼單元判定用於畫面間預測之預測單元，且可每預測單元地執行畫面間預測。
具體言之，當長期參考影像用於畫面間模式中之當前預測單元的畫面間預測時，長期參考影像之POC資訊可用作用於識別儲存於解碼圖像緩衝區中的長期參考影像的長期參考索引。輸出單元130可將長期參考影像之POC資訊的LSB資訊作為參考索引而輸出。且，指示當前片段中待參考之長期參考影像之參考索引可儲存於片段標頭中。因此，輸出單元130可經由片段標頭將長期參考影像之POC資訊的LSB資訊作為參考索引而傳輸。
且，寫碼單元判定器120可藉由參考儲存於解碼圖像緩衝區中的先前復原之影像，來針對當前影像執行動作補償，以便產生用於其他影像之畫面間預測的參考影像。因此，寫碼單元判定器120可執行參考圖5所描述之視訊解碼裝置50的操作。
換言之，寫碼單元判定器120亦可自長期參考索引讀取POC資訊之LSB資訊，並藉由使用所讀取之LSB資訊來復原長期參考影像之所述POC資訊，以便選擇用於動作補償的長期參考影像。寫碼單元判定器120可自儲存於解碼圖像緩衝區中之所復原之影像選擇對應於所復原之POC資訊的長期參考影像，並基於所選擇之長期參考影像使用動作向量與殘餘資料執行動作補償。
由於寫碼單元判定器120根據預測單元執行動作補償，因此寫碼單元判定器120可自所選擇之長期參考影像判定當前預測單元之動作向量所指示的參考預測單元，並藉由組合當前預測單元之殘餘資料與所判定之參考預測單元來復原當前預測單元。 可藉由復原預測單元來復原寫碼單元，可藉由復原寫碼單元來復原最大寫碼單元，且可藉由復原最大寫碼單元來復原影像。
圖7為根據本發明之一實施例的基於具有樹狀結構之寫碼單元的視訊解碼裝置200的方塊圖。
涉及基於具有樹狀結構之寫碼單元之視訊預測的視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。
用於視訊解碼裝置200之解碼操作的各種術語(諸如，寫碼單元、深度、預測單元、變換單元以及關於各種編碼模式之資訊)的定義與參考圖6以及視訊編碼裝置100所描述的術語相同。
接收器210接收且剖析經編碼之視訊之位元串流。影像資料以及編碼資訊提取器220自所剖析之位元串流提取每一寫碼單元的經編碼之影像資料，其中寫碼單元具有根據每一最大寫碼單元的樹狀結構，且將所提取之影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像或序列參數集合或圖像參數集合之標頭提取關於當前圖像之寫碼單元的最大大小的資訊。
且，影像資料以及編碼資訊提取器220自所剖析之位元串流針對具有根據每一最大寫碼單元之樹狀結構的寫碼單元提取關於經寫碼之深度以及編碼模式的資訊。關於經寫碼之深度以及編碼模式的所提取之資訊輸出至影像資料解碼器230。換言之，位元串流中之影像資料分割為最大寫碼單元，使得影像資料解碼器 230對每一最大寫碼單元之影像資料進行解碼。
可針對關於對應於經寫碼之深度的至少一個寫碼單元的資訊而設定根據最大寫碼單元關於經寫碼之深度以及編碼模式的資訊，且關於編碼模式的資訊可包含關於對應於經寫碼之深度的對應寫碼單元的分區類型、關於預測模式以及變換單元的大小的資訊。且，可將根據深度之分割資訊作為關於經寫碼之深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一最大寫碼單元關於經寫碼之深度以及編碼模式的資訊為關於經判定以在諸如視訊編碼裝置100之編碼器根據每一最大寫碼單元對根據深度之每一較深寫碼單元重複地執行編碼時產生最小編碼誤差的經寫碼之深度以及編碼模式的資訊。因此，視訊解碼裝置200可藉由根據產生最小編碼誤差的經寫碼之深度以及編碼模式來對影像資料進行解碼而復原影像。
由於關於經寫碼之深度以及編碼模式之編碼資訊可指派給對應寫碼單元、預測單元以及最小單元中的預定資料單元，因此影像資料以及編碼資訊提取器220可根據預定資料單元提取關於經寫碼之深度以及編碼模式的資訊。若根據預定資料單元記錄關於對應最大寫碼單元的經寫碼之深度與編碼模式的資訊，則被指派關於經寫碼之深度以及編碼模式的相同資訊的預定資料單元可推斷為包含於同一最大寫碼單元中的資料單元。
影像資料解碼器230藉由基於根據最大寫碼單元關於經寫碼之深度以及編碼模式之資訊而對每一最大寫碼單元中的影像 資料進行解碼來復原當前圖像。換言之，影像資料解碼器230可基於關於每一最大寫碼單元中所包含之具有樹狀結構的寫碼單元中的每一寫碼單元之分區類型、預測模式以及變換單元的所提取之資訊而對經編碼之影像資料進行解碼。解碼程序可包含：包含畫面內預測以及動作補償之預測；以及逆變換。
影像資料解碼器230可基於根據經寫碼之深度關於每一寫碼單元之預測單元的分區類型以及預測模式的資訊，根據所述寫碼單元之分區以及預測模式來執行畫面內預測或動作補償。
另外，影像資料解碼器230可針對每一寫碼單元讀取關於根據樹狀結構之變換單元的資訊，以便針對每一最大寫碼單元之逆變換，基於用於每一寫碼單元的變換單元執行逆變換。經由逆變換，可復原寫碼單元之空間域的像素值。
影像資料解碼器230可藉由使用根據深度之分割資訊而判定當前最大寫碼單元之經寫碼之深度。若分割資訊指示影像資料在當前深度中不再分割，則當前深度為經寫碼之深度。因此，影像資料解碼器230可藉由使用關於對應於經寫碼之深度之每一寫碼單元的預測單元的分區類型、預測模式以及變換單元的大小的資訊，來對當前最大寫碼單元中的經編碼之資料進行解碼。
換言之，可藉由觀測針對寫碼單元、預測單元以及最小單元中的預定資料單元而指派的編碼資訊集合，來收集含有包含相同分割資訊之編碼資訊的資料單元，且可將所收集之資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。因而，可藉由獲得關於每一寫碼單元之編碼模式的資訊來 對當前寫碼單元進行解碼。
且，圖7之視訊解碼裝置200的影像資料解碼器230可執行圖2A之動作補償裝置20或圖5之動作補償單元58的操作。
影像資料以及編碼資訊提取器220可自所接收之位元串流剖析長期參考索引。可自片段標頭剖析長期參考索引。
影像資料解碼器230可判定用於畫面間預測之預測單元，並針對每一最大寫碼單元，根據具有樹狀結構之寫碼單元，執行針對每一預測單元之畫面間預測。
具體言之，影像資料解碼器230可自長期參考索引讀取長期參考影像之POC資訊的LSB資訊。影像資料解碼器230可藉由合併長期參考影像之POC資訊的所讀取之LSB資訊與預定的MSB資訊，來復原所述長期參考影像之所述POC資訊。
由於影像資料解碼器230根據預測單元執行動作補償，因此影像資料解碼器230可自長期參考影像判定當前預測單元之動作向量所指示的參考預測單元，並藉由組合當前預測單元之殘餘資料與參考預測單元來復原當前預測單元。可藉由復原預測單元來復原寫碼單元，可藉由復原寫碼單元來復原最大預測單元，且可藉由復原最大預測單元來復原影像。
因而，視訊解碼裝置200可獲得關於當對每一最大寫碼單元按遞回方式執行編碼時產生最小編碼誤差之至少一個寫碼單元之資訊，且可使用所述資訊來對當前圖像進行解碼。換言之，可對判定為每一最大寫碼單元中的最佳寫碼單元的具有樹狀結構之寫碼單元進行解碼。
因此，即使影像資料具有高解析度以及大量資料，仍可藉由使用自編碼器接收之關於最佳編碼模式之資訊，藉由使用根據影像資料之特性適應性地判定之寫碼單元之大小以及編碼模式而有效地對影像資料進行解碼以及復原。
圖8為用於描述根據本發明之一實施例的寫碼單元之概念的圖式。
寫碼單元之大小可用寬度×高度來表達，且可為64×64、32×32、16×16以及8×8。64×64之寫碼單元可分割為64×64、64×32、32×64或32×32之分區，且32×32之寫碼單元可分割為32×32、32×16、16×32或16×16的分區，16×16之寫碼單元可分割為16×16、16×8、8×16或8×8之分區，且8×8之寫碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為2。在視訊資料320中，解析度為1920×1080，寫碼單元之最大大小為64，且最大深度為3。在視訊資料330中，解析度為352×288，寫碼單元之最大大小為16，且最大深度為1。圖8所示之最大深度表示自最大寫碼單元至最小寫碼單元之總分割次數。
若解析度高或資料量大，則寫碼單元之最大大小可為大的，以便不僅提高編碼效率，而且準確地反映影像之特性。因此，具有高於視訊資料330之解析度的視訊資料310以及320之寫碼單元的最大大小可為64。
由於視訊資料310之最大深度為2，因此視訊資料310 之寫碼單元315可包含長軸大小為64的最大寫碼單元，以及長軸大小為32以及16的寫碼單元，此是因為深度藉由分割最大寫碼單元兩次而加深為兩層。由於視訊資料330之最大深度為1，因此視訊資料330之寫碼單元335可包含長軸大小為16的最大寫碼單元，以及長軸大小為8之寫碼單元，此是因為深度藉由分割最大寫碼單元一次而加深為一層。
由於視訊資料320之最大深度為3，因此視訊資料320之寫碼單元325可包含長軸大小為64的最大寫碼單元，以及長軸大小為32、16以及8的寫碼單元，此是因為深度藉由分割最大寫碼單元三次而加深為3層。隨著深度加深，可精確地表達詳細資訊。
圖9為根據本發明之一實施例的基於寫碼單元之影像編碼器400的方塊圖。
影像編碼器400執行視訊編碼裝置100之寫碼單元判定器120的操作以對影像資料進行編碼。換言之，畫面內預測器410對當前畫面405中的處於畫面內模式中之寫碼單元執行畫面內預測，且動作估計器420以及動作補償器425藉由使用當前畫面405以及參考畫面495而對當前畫面405中處於畫面間模式中的寫碼單元分別執行畫面間估計以及動作補償。
自畫面內預測器410、動作估計器420以及動作補償器425輸出之資料經由變換器430以及量化器440作為經量化之變換係數而輸出。經量化之變換係數經由逆量化器460以及逆變換器470復原為空間域中之資料，且空間域中之所復原之資料在經由解 區塊單元480以及迴路濾波單元490後處理之後作為參考畫面495輸出。經量化之變換係數可經由熵編碼器450作為位元串流455而輸出。
為使影像編碼器400應用於視訊編碼裝置100中，影像編碼器400之所有元件(亦即，畫面內預測器410、動作估計器420、動作補償器425、變換器430、量化器440、熵編碼器450、逆量化器460、逆變換器470、解區塊單元480以及迴路濾波單元490)在考慮每一最大寫碼單元之最大深度的同時基於具有樹狀結構之寫碼單元中的每一寫碼單元來執行操作。
具體言之，畫面內預測器410、動作估計器420以及動作補償器425在考慮當前最大寫碼單元之最大大小以及最大深度的同時判定具有樹狀結構之寫碼單元中的每一寫碼單元之分區以及預測模式，且變換器430判定具有樹狀結構之寫碼單元中的每一寫碼單元中之變換單元的大小。
具體言之，當動作估計器420使用長期參考畫面執行畫面間預測時，所述長期參考畫面的POC資訊可作為長期參考索引而輸出。熵編碼器450可對長期參考畫面之POC資訊的LSB資訊進行編碼並將其作為長期參考索引而輸出。用於當前片段之預測單元的長期參考畫面之POC資訊的LSB資訊可包含於片段標頭中，且接著進行傳輸。
動作補償器425亦可藉由使用自長期參考索引讀取的POC資訊之LSB資訊來判定長期參考畫面之POC資訊。動作補償單元425可自儲存於解碼圖像緩衝區中之參考畫面選擇對應於所 復原之POC資訊的長期參考畫面，並基於所選擇之長期參考畫面使用當前畫面之殘餘資料以及動作向量執行動作補償。
圖10為根據本發明之一實施例的基於寫碼單元之影像解碼器500的方塊圖。
剖析器510自位元串流505剖析待解碼之經編碼之影像資料以及解碼所需之關於編碼的資訊。經編碼之影像資料經由熵解碼器520以及逆量化器530作為經逆量化之資料而輸出，且所述經逆量化之資料經由逆變換器540而復原為空間域中的影像資料。
畫面內預測器550關於空間域中之影像資料對處於畫面內模式中之寫碼單元執行畫面內預測，且動作補償器560藉由使用參考畫面585對處於畫面間模式中的寫碼單元執行動作補償。
通過畫面內預測器550以及動作補償器560之空間域中的影像資料可在經由解區塊單元570以及迴路濾波單元580後處理之後作為所復原之畫面595輸出。且，經由解區塊單元570以及迴路濾波單元580後處理之影像資料可作為參考畫面585而輸出。
為在視訊解碼裝置200之影像資料解碼器230中對影像資料進行解碼，影像解碼器500可執行在剖析器510之後所執行的操作。
為使影像解碼器500應用於視訊解碼裝置200中，影像解碼器500之所有元件(亦即，剖析器510、熵解碼器520、逆量化器530、逆變換器540、畫面內預測器550、動作補償器560、 解區塊單元570以及迴路濾波單元580)針對每一最大寫碼單元基於具有樹狀結構之寫碼單元來執行操作。
具體言之，畫面內預測550與動作補償器560基於具有樹狀結構之寫碼單元中之每一者的分區與預測模式來執行操作，且逆變換器540基於每一寫碼單元之變換單元之大小來執行操作。
具體言之，剖析器510可自位元串流505剖析長期參考索引。可自片段標頭剖析用於當前片段之預測單元的長期參考影像之POC資訊的LSB資訊。動作補償器560可藉由合併當前長期參考影像之POC資訊的LSB與MSB資訊來復原當前長期參考影像的POC資訊，並自儲存於解碼圖像緩衝區中之長期參考影像判定對應於所復原之POC資訊的當前長期參考影像。動作補償器560可自當前長期參考影像判定當前預測單元之動作向量所指示之參考預測單元，並藉由合併參考預測單元與當前預測單元之殘餘資料來復原所述當前預測單元。
圖11為說明根據本發明之一實施例的根據深度之較深寫碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式寫碼單元以便考慮影像之特性。可根據影像之特性來適應性地判定寫碼單元之最大高度、最大寬度以及最大深度，或可由使用者不同地進行設定。可根據寫碼單元之預定最大大小判定根據深度之較深寫碼單元的大小。
在根據本發明之一實施例的寫碼單元之階層式結構600中，寫碼單元之最大高度以及最大寬度各為64，且最大深度為4。 在此狀況下，最大深度指寫碼單元自最大寫碼單元分割為最小寫碼單元之總次數。由於深度沿著階層式結構600之垂直軸加深，因此將較深寫碼單元之高度以及寬度各自分割。且，沿著階層式結構600之水平軸展示作為用於每一較深寫碼單元之預測編碼之基礎的預測單元以及分區。
換言之，寫碼單元610為階層式結構600中之最大寫碼單元，其中深度為0且大小(亦即，高度乘寬度)為64×64。深度沿著垂直軸而加深，且存在大小為32×32且深度為1之寫碼單元620、大小為16×16且深度為2之寫碼單元630、大小為8×8且深度為3之寫碼單元640。大小為8×8且深度為3之寫碼單元640為最小寫碼單元。
寫碼單元之預測單元以及分區根據每一深度沿著水平軸而配置。換言之，若大小為64×64且深度為0之寫碼單元610為預測單元，則預測單元可分割為包含於編碼單元610中的分區，亦即，大小為64×64之分區610、大小為64×32之分區612、大小為32×64之分區614或大小為32×32的分區616。
類似地，大小為32×32且深度為1之寫碼單元620的預測單元可分割為包含於寫碼單元620中的分區，亦即，大小為32×32之分區620、大小為32×16之分區622、大小為16×32之分區624以及大小為16×16的分區626。
類似地，大小為16×16且深度為2之寫碼單元630的預測單元可分割為包含於寫碼單元630中的分區，亦即，包含於寫碼單元中的大小為16×16之分區630、大小為16×8之分區632、 大小為8×16之分區634以及大小為8×8的分區636。
類似地，大小為8×8且深度為3之寫碼單元640的預測單元可分割為包含於寫碼單元640中的分區，亦即，包含於寫碼單元中的大小為8×8之分區640、大小為8×4之分區642、大小為4×8之分區644以及大小為4×4的分區646。
為判定構成最大寫碼單元610之寫碼單元的至少一個經寫碼之深度，視訊編碼裝置100之寫碼單元判定器120對包含於最大寫碼單元610中之對應於每一深度的寫碼單元執行編碼。
隨著深度加深，包含相同範圍中之資料以及相同大小的根據深度之較深寫碼單元的數目增大。舉例而言，需要對應於深度2之四個寫碼單元來涵蓋包含於對應於深度1之一個寫碼單元中的資料。因此，為比較根據深度之相同資料的編碼結果，將對應於深度1之寫碼單元以及對應於深度2之四個寫碼單元各自編碼。
為針對深度中之當前深度執行編碼，可藉由沿著階層式結構600之水平軸對對應於當前深度之寫碼單元中的每一預測單元執行編碼，來針對當前深度選擇最小編碼誤差。或者，可藉由比較根據深度之最小編碼誤差、藉由隨著深度沿著階層式結構600之垂直軸加深而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇寫碼單元610中具有最小編碼誤差之深度以及分區作為寫碼單元610之經寫碼之深度以及分區類型。
圖12為用於描述根據本發明之一實施例的寫碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一最大寫碼單元根據具有小於或等於最大寫碼單元之大小的寫碼單元來對影像進行編碼或解碼。可基於不大於對應寫碼單元之資料單元而選擇在編碼期間用於變換之變換單元的大小。
舉例而言，在視訊編碼裝置100或視訊解碼裝置200中，若寫碼單元710之大小為64×64，則可藉由使用大小為32×32之變換單元720來執行變換。
且，可藉由對大小為小於64×64之32×32、16×16、8×8以及4×4之變換單元中之每一者執行變換，來對大小為64×64之寫碼單元710的資料進行編碼，且接著可選擇具有最小寫碼誤差的變換單元。
圖13為用於描述根據本發明之一實施例的對應於經寫碼之深度的寫碼單元的編碼資訊的圖式。
視訊編碼裝置100之輸出單元130可對關於分區類型之資訊800、關於預測模式之資訊810，以及關於對應於經寫碼之深度的每一寫碼單元的變換單元之大小的資訊820進行編碼且作為關於編碼模式之資訊而傳輸。
資訊800指示關於藉由分割當前寫碼單元之預測單元而獲得的分區之形狀的資訊，其中分區為用於當前寫碼單元之預測編碼的資料單元。舉例而言，大小為2N×2N之當前寫碼單元CU_0可分割為大小為2N×2N之分區802、大小為2N×N之分區804、大小為N×2N之分區806以及大小為N×N的分區808中之任一者。此處，關於分區類型的資訊800設定為指示大小為2N×N之 分區804、大小為N×2N之分區806以及大小為N×N的分區808中之一者。
資訊810指示每一分區之預測模式。舉例而言，資訊810可指示對由資訊800指示之分區執行的預測編碼之模式，亦即，畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前寫碼單元執行變換之變換單元。舉例而言，變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面間變換單元828。
根據每一較深寫碼單元，視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖14為根據本發明之一實施例的根據深度之較深寫碼單元的圖式。
分割資訊可用以指示深度之改變。分割資訊指示當前深度之寫碼單元是否分割為較下層深度之寫碼單元。
用於深度為0且大小為2N_0×2N_0之寫碼單元900之預測編碼的預測單元910可包含大小為2N_0×2N_0之分區類型912、大小為2N_0×N_0之分區類型914、大小為N_0×2N_0之分區類型916以及大小為N_0×N_0的分區類型918之分區。圖14僅說明藉由對稱地分割預測單元910而獲得之分區類型912至918，但分區類型不限於此，且預測單元910之分區可包含非對稱分區、具有預定形狀之分區以及具有幾何形狀的分區。
根據每一分區類型，對大小為2N_0×2N_0之一個分區、大小為2N_0×N_0之兩個分區、大小為N_0×2N_0之兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0之分區執行在畫面內模式以及畫面間模式中之預測編碼。僅對大小為2N_0×2N_0之分區執行在跳過模式中之預測編碼。
若編碼誤差在分區類型912至916中之一者中最小，則預測單元910可能不分割為較下層深度。
若編碼誤差在分區類型918中最小，則深度自0改變為1以在操作920中分割分區類型918，且對深度為2且大小為N_0×N_0之寫碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1(=N_0×N_0)之寫碼單元930之預測編碼的預測單元940可包含大小為2N_1×2N_1之分區類型942、大小為2N_1×N_1之分區類型944、大小為N_1×2N_1之分區類型946以及大小為N_1×N_1的分區類型948之分區。
若編碼誤差在分區類型948中最小，則深度自1改變為2以在操作950中分割分區類型948，且對深度為2且大小為N_2×N_2之寫碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時，可執行根據每一深度之分割操作直至深度變為d-1時，且可對分割資訊進行編碼直至深度變為0至d-2中之一者時。換言之，當執行編碼直至在對應於深度d-2之寫碼單元在操作970中分割之後深度為d-1時，用於深度為d-1且大 小為2N_(d-1)×2N_(d-1)之寫碼單元980之預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)之分區類型992、大小為2N_(d-1)×N_(d-1)之分區類型994、大小為N_(d-1)×2N_(d-1)之分區類型996以及大小為N_(d-1)×N_(d-1)的分區類型998之分區。
可對分區類型992至998中的大小為2N_(d-1)×2N_(d-1)之一個分區、大小為2N_(d-1)×N_(d-1)之兩個分區、大小為N_(d-1)×2N_(d-1)之兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區類型。
即使當分區類型998具有最小編碼誤差時，由於最大深度為d，因此深度為d-1之寫碼單元CU_(d-1)不再分割為較下層深度，且將構成當前最大寫碼單元900之寫碼單元的經寫碼之深度判定為d-1，且可將當前最大寫碼單元900的分區類型判定為N_(d-1)×N_(d-1)。且，由於最大深度為d且具有最下層深度d-1之最小寫碼單元980不再分割為較下層深度，因此不設定最小寫碼單元980之分割資訊。
資料單元999可為當前最大寫碼單元之「最小單元」。根據本發明之一實施例的最小單元可為藉由將最小寫碼單元980分割為4份而獲得的正方形資料單元。藉由重複地執行編碼，視訊編碼裝置100可藉由根據寫碼單元900之深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定經寫碼之深度，且將對應分區類型以及預測模式設定為經寫碼之深度的編碼模式。
因而，在所有深度1至d中比較根據深度之最小編碼誤差，且可將具有最小編碼誤差之深度判定為經寫碼之深度。可對 經寫碼之深度、預測單元之分區類型以及預測模式進行編碼且作為關於編碼模式之資訊而傳輸。且，由於寫碼單元自深度0分割為經寫碼之深度，因此僅經寫碼之深度的分割資訊設定為0，且排除經寫碼之深度的深度的分割資訊設定為1。
視訊解碼裝置200之影像資料以及編碼資訊提取器220可提取且使用關於寫碼單元900之經寫碼之深度以及預測單元的資訊以對分區912進行解碼。視訊解碼裝置200可藉由使用根據深度之分割資訊而將分割資訊為0之深度判定為經寫碼之深度，且使用關於對應深度之編碼模式的資訊以用於解碼。
圖15至圖17為用於描述根據本發明之一實施例的寫碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
寫碼單元1010為最大寫碼單元中的對應於由視訊編碼裝置100判定之經寫碼之深度的具有樹狀結構之寫碼單元。預測單元1060為寫碼單元1010中之每一者之預測單元的分區，且變換單元1070為寫碼單元1010中之每一者的變換單元。
當最大寫碼單元之深度在寫碼單元1010中為0時，寫碼單元1012以及1054之深度為1，寫碼單元1014、1016、1018、1028、1050以及1052之深度為2，寫碼單元1020、1022、1024、1026、1030、1032以及1048之深度為3，且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中，藉由分割編碼單元1010中之寫碼單元來獲得一些編碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之，寫碼單元1014、1022、1050以及1054 中之分區類型的大小為2N×N，寫碼單元1016、1048以及1052中之分區類型的大小為N×2N，且寫碼單元1032之分區類型的大小為N×N。寫碼單元1010之預測單元以及分區小於或等於每一寫碼單元。
對小於寫碼單元1052之資料單元中之變換單元1070中的寫碼單元1052之影像資料執行變換或逆變換。且，變換單元1070中之寫碼單元1014、1016、1022、1032、1048、1050以及1052的大小以及形狀不同於預測單元1060中的寫碼單元。換言之，視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單元中之資料單元個別地執行畫面內預測、動作估計、動作補償、變換以及逆變換。
因此，對在最大寫碼單元之每一區域中具有階層式結構之寫碼單元中的每一者以遞回方式執行編碼以判定最佳寫碼單元，且因而可獲得具有遞回樹狀結構之寫碼單元。編碼資訊可包含關於寫碼單元之分割資訊、關於分區類型之資訊、關於預測模式之資訊，以及關於變換單元之大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定之編碼資訊。
視訊編碼裝置100之輸出單元130可輸出關於具有樹狀 結構之寫碼單元的編碼資訊，且視訊解碼裝置200之影像資料以及編碼資訊提取器220可自所接收之位元串流提取關於具有樹狀結構之寫碼單元的編碼資訊。
分割資訊指示當前寫碼單元是否分割為較下層深度之寫碼單元。若當前深度d之分割資訊為0，則當前寫碼單元不再分割為較下層深度之深度為經寫碼之深度，且因而可針對經寫碼之深度而定義關於分區類型、預測模式以及變換單元之大小的資訊。若根據分割資訊進一步分割當前寫碼單元，則對較下層深度之四個分割寫碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中之一者。可在所有分區類型中定義畫面內模式以及畫面間模式，且僅在大小為2N×2N之分區類型中定義跳過模式。
關於分區類型之資訊可指示：大小為2N×2N、2N×N、N×2N以及N×N之對稱分區類型，其是藉由對稱地分割預測單元之高度或寬度而獲得；以及大小為2N×nU、2N×nD、nL×2N以及nR×2N之非對稱分區類型，其是藉由非對稱地分割預測單元之高度或寬度而獲得。可藉由以1：3以及3：1分割預測單元之高度來分別獲得大小為2N×nU以及2N×nD之非對稱分區類型，且可藉由以1：3以及3：1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N之非對稱分區類型。
變換單元之大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之，若變換單元之分割資訊為0，則變換單元之大小可為2N×2N，此為當前寫碼單元之大 小。若變換單元之分割資訊為1，則可藉由分割當前寫碼單元而獲得變換單元。且，若大小為2N×2N之當前寫碼單元的分區類型為對稱分區類型，則變換單元之大小可為N×N，且若當前寫碼單元之分區類型為非對稱分區類型，則變換單元的大小可為N/2×N/2。
關於具有樹狀結構之寫碼單元的編碼資訊可包含對應於經寫碼之深度的寫碼單元、預測單元以及最小單元中的至少一者。對應於經寫碼之深度的寫碼單元可包含含有相同編碼資訊之預測單元以及最小單元中的至少一者。
因此，藉由比較鄰近資料單元之編碼資訊來判定鄰近資料單元是否包含於對應於經寫碼之深度的同一寫碼單元中。且，藉由使用資料單元之編碼資訊來判定對應於經寫碼之深度的對應寫碼單元，且因而可判定最大寫碼單元中之經寫碼之深度的分佈。
因此，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則可直接參考且使用鄰近於當前寫碼單元的較深寫碼單元中之資料單元的編碼資訊。
或者，若基於鄰近資料單元之編碼資訊而預測當前寫碼單元，則使用資料單元之經編碼之資訊而搜尋鄰近於當前寫碼單元之資料單元，且可參考所搜尋之鄰近寫碼單元以用於預測當前寫碼單元。
圖18為用於描述根據表1之編碼模式資訊的寫碼單元、預測單元與變換單元之間的關係的圖示。
最大寫碼單元1300包含經寫碼之深度的寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處，由於寫 碼單元1318為經寫碼之深度的寫碼單元，因此分割資訊可設定為0。關於大小為2N×2N之寫碼單元1318之分區類型的資訊可設定為大小為2N×2N之分區類型1322、大小為2N×N之分區類型1324、大小為N×2N之分區類型1326、大小為N×N之分區類型1328、大小為2N×nU之分區類型1332、大小為2N×nD之分區類型1334、大小為nL×2N之分區類型1336以及大小為nR×2N之分區類型1338中的一者。
變換單元之分割資訊(TU大小旗標)為一種變換索引。對應於變換索引之變換單元之大小可根據寫碼單元之預測單元類型或分區類型而變化。
舉例而言，當分區類型設定為對稱(亦即，分區類型1322、1324、1326或1328)時，若變換單元之TU大小旗標為0，則設定大小為2N×2N之變換單元1342，且若TU大小旗標為1，則設定大小為N×N之變換單元1344。
當分區類型設定為非對稱(亦即，分區類型1332、1334、1336或1338)時，若TU大小旗標為0，則設定大小為2N×2N之變換單元1352，且若TU大小旗標為1，則設定大小為N/2×N/2之變換單元1354。
參考圖18，TU大小旗標為具有值0或1之旗標，但TU大小旗標不限於1個位元，且變換單元可在TU大小旗標自0增大時階層式分割為具有樹狀結構。變換單元之分割資訊(TU大小旗標)可為變換索引之實例。
在此狀況下，可藉由使用根據本發明之實施例的變換單 元之TU大小旗標，以及變換單元之最大大小以及最小大小來表達已實際使用之變換單元的大小。視訊編碼裝置100能夠對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標進行編碼。對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標進行編碼之結果可插入至SPS中。視訊解碼裝置200可藉由使用最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標來對視訊進行解碼。
舉例而言，(a)若當前寫碼單元之大小為64×64且最大變換單元大小為32×32，(a-1)則在TU大小旗標為0時，變換單元之大小可為32×32，(a-2)在TU大小旗標為1時，變換單元之大小可為16×16，且(a-3)在TU大小旗標為2時，變換單元之大小可為8×8。
作為另一實例，(b)若當前寫碼單元之大小為32×32且最小變換單元大小為32×32，(b-1)則在TU大小旗標為0時，變換單元之大小可為32×32。此處，TU大小旗標不可設定為除0以外之值，此是因為變換單元之大小不可小於32×32。
作為另一實例，(c)若當前寫碼單元之大小為64×64且最大TU大小旗標為1，則TU大小旗標可為0或1。此處，TU大小旗標不可設定為除0或1以外之值。
因而，若定義最大TU大小旗標為「MaxTransformSizeIndex」，最小變換單元大小為「MinTransformSize」，且在TU大小旗標為0時變換單元大小為「RootTuSize」，則可在當前寫碼單元中判定之當前最小變換單元大 小「CurrMinTuSize」可由方程式(1)定義：CurrMinTuSize=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)
與可在當前寫碼單元中判定之當前最小變換單元大小「CurrMinTuSize」比較，在TU大小旗標為0時之變換單元大小「RootTuSize」可表示可在系統中選擇的最大變換單元大小。在方程式(1)中，「RootTuSize/(2^MaxTransformSizeIndex)」表示在變換單元大小「RootTuSize」在TU大小旗標為0時分割對應於最大TU大小旗標之次數時的變換單元大小，且「MinTransformSize」表示最小變換大小。因而，「RootTuSize/(2^MaxTransformSizeIndex)」以及「MinTransformSize」中的較小值可為可在當前寫碼單元中判定的當前最小變換單元大小「CurrMinTuSize」。
根據本發明之實施例，最大變換單元大小RootTuSize可根據預測模式之類型而變化。
舉例而言，若當前預測模式為畫面間模式，則可藉由使用下文之方程式(2)來判定「RootTuSize」。在方程式(2)中，「MaxTransformSize」表示最大變換單元大小，且「PUSize」表示當前預測單元大小。
RootTuSize=min(MaxTransformSize,PUSize).........(2)
亦即，若當前預測模式為畫面間模式，則在TU大小旗標為0時之變換單元大小「RootTuSize」可為最大變換單元大小以 及當前預測單元大小中的較小值。
若當前分區單元之預測模式為畫面內模式，則可藉由使用下文之方程式(3)來判定「RootTuSize」。在方程式(3)中，「PartitionSize」表示當前分區單元之大小。
RootTuSize=min(MaxTransformSize,PartitionSize)..........(3)
亦即，若當前預測模式為畫面內模式，則在TU大小旗標為0時之變換單元大小「RootTuSize」可為最大變換單元大小以及當前分區單元之大小中的較小值。
然而，根據分區單元中之預測模式之類型而變化的當前最大變換單元大小「RootTuSize」僅為實例，且本發明並不限於此。
根據上文參考圖6至圖18所描述的基於具有樹狀結構之寫碼單元之視訊編碼方法，可針對樹狀結構之每一寫碼單元來對空間域之影像資料進行編碼。根據基於具有樹狀結構之寫碼單元之視訊解碼方法，針對每一最大寫碼單元執行解碼以復原空間域之影像資料。因而，可復原圖像以及視訊(其為圖像序列)。所復原之視訊可由再生裝置再生，儲存於儲存媒體中或經由網路傳輸。
根據本發明之實施例可寫為電腦程式，且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體之實例包含磁性儲存媒體(例如，ROM、軟碟、硬碟等)以及光學記錄媒體(例如，CD-ROM或DVD)。
儘管已特定參考本發明之較佳實施例展示且描述了本發明，但一般熟習此項技術者將理解，在不脫離如由所附申請專 利範圍界定的本發明之精神以及範疇的情況下，可對本發明進行形式以及細節上的各種改變。
由於用於實現參考圖1至圖18所描述之畫面間預測方法、動作補償方法、視訊編碼方法以及視訊解碼方法的程式儲存於電腦可讀記錄媒體中，因此獨立電腦系統可易於實現根據儲存於電腦可讀記錄媒體中之程式的操作。
為便於描述，參考圖1至圖18所描述之畫面間預測方法與視訊編碼方法將統稱作「根據本發明之視訊編碼方法」。另外，參考圖1至圖18所描述之動作補償方法與視訊解碼方法將稱作「根據本發明之視訊解碼方法」。
且，參考圖1至圖18所描述的包含畫面間預測裝置10、視訊編碼裝置40、視訊編碼裝置100或影像編碼器400之視訊編碼裝置將稱作「根據本發明之視訊編碼裝置」。另外，參考圖1至圖18所描述的包含動作補償裝置20、視訊解碼裝置50、視訊解碼裝置200或影像解碼器500之視訊解碼裝置將稱作「根據本發明之視訊解碼裝置」。
現將詳細描述根據本發明之一實施例的儲存程式之電腦可讀記錄媒體，例如光碟26000。
圖19為根據本發明之一實施例的儲存有程式之光碟26000的實體結構的圖式。光碟26000(其為儲存媒體)可為硬碟機、緊密光碟-唯讀記憶體(compact disc-read only memory；CD-ROM)、藍光(Blu-ray)光碟或數位多功能光碟(digital versatile disc；DVD)。光碟26000包含光碟26000之圓周方向上各自劃分 為特定數目之磁區Se的多條同心磁軌Tr。在光碟26000之特定區域中，可指派並儲存執行上述畫面間預測方法、動作補償方法、視訊編碼方法以及視訊解碼方法之程式。
現將參考圖20描述使用儲存媒體而實施之電腦系統，所述儲存媒體儲存用於執行上述視訊編碼方法以及視訊解碼方法之程式。
圖20為藉由使用光碟26000來記錄並讀取程式之光碟機26800的圖式。電腦系統27000可經由光碟機26800將執行根據本發明之一實施例的視訊編碼方法以及視訊解碼方法中之至少一者的程式儲存於光碟26000中。為在電腦系統27000中執行儲存於光碟26000中的程式，可藉由使用光碟機26800而自光碟26000讀取程式並將其傳輸至電腦系統27000。
執行根據本發明之一實施例的視訊編碼方法以及視訊解碼方法中之至少一者的程式不僅可儲存於圖19或圖20中所說明之光碟26000中，而且可儲存於記憶卡、ROM卡匣或固態磁碟(solid state drive；SSD)中。
下文將描述應用了上述視訊編碼方法以及視訊解碼方法之系統。
圖21為用於提供內容散佈服務之內容供應系統11000的整體結構的圖式。通信系統之服務區域被劃分為預定大小之小區，且無線基地台11700、11800、11900以及12000分別安裝於此等小區中。
內容供應系統11000包含多個獨立裝置。舉例而言，諸 如電腦12100、個人數位助理(personal digital assistant；PDA)12200、視訊攝影機12300以及行動電話12500之多個獨立裝置經由網際網路服務提供商11200、通信網路11400以及無線基地台11700、11800、11900以及12000連接至網際網路11100。
然而，內容供應系統11000不限制於如圖21所說明的內容供應系統，且裝置可選擇性地連接至所述內容供應系統。多個獨立裝置可直接連接至通信網路11400，而不經由無線基地台11700、11800、11900以及12000來連接。
視訊攝影機12300是能夠攝取視訊影像之成像裝置，例如，數位視訊攝影機。行動電話12500可使用各種協定中之至少一種通信方法，例如，個人數位通信(Personal Digital Communications；PDC)、分碼多重存取(Code Division Multiple Access；CDMA)、寬頻分碼多重存取(Wideband-Code Division Multiple Access；W-CDMA)、全球行動通信系統(Global System for Mobile Communications；GSM)以及個人手提電話系統(Personal Handyphone System；PHS)。
視訊攝影機12300可經由無線基地台11900以及通信網路11400連接至串流伺服器11300。串流伺服器11300允許經由視訊攝影機12300自使用者接收之內容能夠經由即時廣播而串流傳輸。自視訊攝影機12300接收之內容可使用視訊攝影機12300或串流伺服器11300來編碼。視訊攝影機12300所攝取之視訊資料可經由電腦12100傳輸至串流伺服器11300。
相機12600所攝取之視訊資料亦可經由電腦12100傳輸 至串流伺服器11300。相機12600為類似於數位攝影機的能夠攝取靜態影像以及動態影像兩者之成像裝置。相機12600所攝取之視訊資料可使用相機12600或電腦12100來編碼。對視訊執行編碼與解碼之軟體可儲存於可由電腦12100存取之電腦可讀記錄媒體(例如，CD-ROM光碟、軟碟、硬碟機、SSD或記憶卡)中。
若視訊資料由內建於行動電話12500中之相機攝取，則可自行動電話12500接收視訊資料。
視訊資料亦可由安裝於視訊攝影機12300、行動電話12500或相機12600中之大型積體電路(large scale integrated circuit；LSI)系統編碼。
內容供應系統11000可對使用者使用視訊攝影機12300、相機12600、行動電話12500或另一成像裝置記錄之內容資料(例如，音樂會期間記錄之內容)進行編碼，並將經編碼之內容資料傳輸至串流伺服器11300。串流伺服器11300可將經編碼之內容資料以串流內容之類型傳輸至請求所述內容資料的其他用戶端。
用戶端是能夠對經編碼之內容資料進行解碼的裝置，例如，電腦12100、PDA 12200、視訊攝影機12300，或行動電話12500。因而，內容供應系統11000允許用戶端接收並再生所述經編碼之內容資料。且，內容供應系統11000允許用戶端接收所述經編碼之內容資料，且能夠即時對所述經編碼之內容資料進行解碼以及再生，藉此實現個人廣播。
包含於內容供應系統11000中之多個獨立裝置的編碼以 及解碼操作可類似於根據本發明之一實施例的視訊編碼裝置以及視訊解碼裝置的操作。
現將參考圖22與圖23更詳細地描述根據本發明之一實施例的包含於內容供應系統11000中之行動電話12500。
圖22說明根據本發明之一實施例的應用了視訊編碼方法以及視訊解碼方法之行動電話12500的外部結構。行動電話12500可為智慧型電話，其功能不受限制，且其大量功能可進行改變或擴充。
行動電話12500包含內部天線12510，行動電話12500可經由所述內部天線12510而與圖21之無線基地台12000交換射頻(radio-frequency；RF)信號；且包含用於顯示相機12530所攝取之影像或經由天線12510而接收並進行解碼之影像的顯示螢幕12520，例如，液晶顯示器(liquid crystal display；LCD)或有機發光二極體(organic light-emitting diode；OLED)螢幕。行動電話12500包含含有控制按鈕以及觸控面板之操作面板12540。若顯示螢幕12520為觸控螢幕，則操作面板12540更包含顯示螢幕12520之觸摸感應面板。行動電話12500包含用於輸出語音以及聲音之揚聲器12580或另一類型的聲音輸出單元，以及用於輸入語音以及聲音之麥克風12550或另一類型的聲音輸入單元。行動電話12500更包含諸如電荷耦合裝置(charge-coupled device；CCD)相機之相機12530，以攝取視訊以及靜態影像。行動電話12500可更包含儲存媒體12570，其用於儲存經編碼/經解碼之資料(例如，由相機12530攝取的、經由電子郵件接收的或根據多種方式 獲得的視訊或靜態影像)；以及槽12560，儲存媒體12570經由所述槽12560裝載至行動電話12500中。儲存媒體12570可為包含於塑膠盒中的快閃記憶體，例如，安全數位卡(secure digital；SD)卡或電可抹除可程式化唯讀記憶體(electrically erasable and programmable read only memory；EEPROM)。
圖23說明根據本發明之一實施例的行動電話12500之內部結構。為系統地控制包含顯示螢幕12520以及操作面板12540之行動電話12500之部分，電源供應電路12700、操作輸入控制器12640、影像編碼單元12720、相機介面12630、LCD控制器12620、影像解碼單元12690、多工器/解多工器12680、記錄/讀取單元12670、調變/解調變單元12660以及聲音處理器12650經由同步匯流排12730連接至中央控制器12710。
若使用者操作電源按鈕且自「電源關閉」狀態設定至「電源開啟」狀態，則電源供應電路12700自電池組向行動電話12500之所有部分供應電源，藉此將行動電話12500設定在操作模式下。
中央控制器12710包含中央處理單元(central processing unit；CPU)、ROM以及RAM。
當行動電話12500向外部傳輸通信資料時，行動電話12500在中央控制器12710的控制下產生數位信號。舉例而言，聲音處理器12650可產生數位聲音信號，影像編碼單元12720可產生數位影像信號，且可經由操作面板12540以及操作輸入控制器12640產生訊息之文字資料。當數位信號在中央控制器12710之控制下傳輸至調變/解調變單元12660時，調變/解調變單元12660對 數位信號之頻帶進行調變，且通信電路12610對經頻帶調變之數位聲音信號執行數位/類比轉換(digital-to-analog conversion；DAC)以及頻率轉換。自通信電路12610輸出之傳輸信號可經由天線12510而傳輸至語音通信基地台或無線基地台12000。
舉例而言，當行動電話12500處於交談模式中時，經由麥克風12550而獲得的聲音信號在中央控制器12710之控制下由聲音處理器12650變換為數位聲音信號。數位聲音信號可經由調變/解調變單元12660以及通信電路12610變換為變換信號，且可經由天線12510而傳輸。
當文字訊息(例如，電子郵件)在資料通信模式中進行傳輸時，文字訊息之文字資料經由操作面板12540而輸入，且經由操作輸入控制器12640傳輸至中央控制器12710。在中央控制器12710之控制下，文字資料經由調變/解調變單元12660以及通信電路12610變換為傳輸信號，且經由天線12510傳輸至無線基地台12000。
為在資料通信模式中傳輸影像資料，經由相機介面12630將相機12530所攝取之影像資料提供至影像編碼單元12720。所攝取之影像資料可經由相機介面12630以及LCD控制器12620直接顯示於顯示螢幕12520上。
影像編碼單元12720之結構可對應於上述視訊編碼裝置100之結構。影像編碼單元12720可根據上述視訊編碼裝置100或影像編碼器400所使用之視訊編碼方法，將自相機12530接收之影像資料變換為經壓縮且經編碼之影像資料，且接著將經編碼 之影像資料輸出至多工器/解多工器12680。在相機12530之記錄操作期間，行動電話12500之麥克風12550所獲得的聲音信號可經由聲音處理器12650變換為數位聲音資料，且數位聲音資料可傳輸至多工器/解多工器12680。
多工器/解多工器12680對自影像編碼單元12720接收之經編碼之影像資料以及自聲音處理器12650接收之聲音資料進行多工。對資料進行多工之結果可經由調變/解調變單元12660以及通信電路12610變換為傳輸信號，且接著可經由天線12510而傳輸。
當行動電話12500自外部接收通信資料時，對經由天線12510而接收之信號執行頻率恢復以及ADC，以將所述信號變換為數位信號。調變/解調變單元12660對數位信號之頻帶進行調變。經頻帶調變之數位信號根據數位信號之類型而傳輸至視訊解碼單元12690、聲音處理器12650或LCD控制器12620。
在交談模式中，行動電話12500放大經由天線12510而接收之信號，並藉由對所放大之信號執行頻率變換以及ADC來獲得數位聲音信號。所接收之數位聲音信號經由調變/解調變單元12660以及聲音處理器12650變換為類比聲音信號，且所述類比聲音信號在中央控制器12710的控制下經由揚聲器12580而輸出。
當在資料通信模式中接收到網際網路網站上所存取之視訊檔案的資料時，經由調變/解調變單元12660將自無線基地台12000經由天線12510而接收之信號作為經多工之資料而輸出，且將經多工之資料傳輸至多工器/解多工器12680。
為對經由天線12510而接收之經多工之資料進行解碼，多工器/解多工器12680將經多工之資料解多工為經編碼之視訊資料串流以及經編碼之音訊資料串流。經由同步匯流排12730，經編碼之視訊資料串流以及經編碼之音訊資料串流分別被提供至視訊解碼單元12690以及聲音處理器12650。
影像解碼單元12690之結構可對應於上述視訊解碼裝置200之結構。影像解碼單元12690可根據上述視訊解碼裝置200或影像解碼器500所使用之視訊解碼方法，對經編碼之視訊資料進行解碼，以獲得所復原之視訊資料且經由LCD控制器12620將所復原之視訊資料提供至顯示螢幕12520。
因而，在網際網路網站上所存取之視訊檔案的資料可顯示於顯示螢幕12520上。同時，聲音處理器12650可將音訊資料變換為類比聲音信號，並將所述類比聲音信號提供至揚聲器12580。因而，網際網路網站上所存取之視訊檔案中所含有之音訊資料亦可經由揚聲器12580而再生。
行動電話12500或另一類型之通信終端機可為包含根據本發明之一實施例的視訊編碼裝置以及視訊解碼裝置兩者之收發終端機；可為僅包含視訊編碼裝置的收發終端機；或可為僅包含視訊解碼裝置的收發終端機。
根據本發明之通信系統不限制於上文參考圖21所描述之通信系統。舉例而言，圖24說明根據本發明之一實施例的使用通信系統之數位廣播系統。圖24之數位廣播系統可藉由使用根據本發明之一實施例的視訊編碼裝置以及視訊解碼裝置，來接收經 由衛星或地面網路而傳輸之數位廣播。
具體言之，廣播站12890藉由使用無線電波將視訊資料串流傳輸至通信衛星或廣播衛星12900。廣播衛星12900傳輸廣播信號，且廣播信號經由家用天線12860而傳輸至衛星廣播接收器。在每一房屋中，經編碼之視訊串流可由TV接收器12810、機上盒12870或另一裝置進行解碼以及再生。
當根據本發明之一實施例的視訊解碼裝置實施於再生裝置12830中時，再生裝置12830可剖析記錄在儲存媒體12820(諸如，光碟或記憶卡)上的經編碼之視訊串流並對其進行解碼，以復原數位信號。因而，所復原之視訊信號可再生於(例如)監視器12840上。
在連接至針對衛星/地面廣播的天線12860或用於接收有線電視(TV)廣播的電纜天線12850之機上盒12870中，可安裝根據本發明之一實施例的視訊解碼裝置。自機上盒12870輸出之資料亦可再生於TV監視器12880上。
作為另一實例，根據本發明之一實施例的視訊解碼裝置可安裝於TV接收器12810而非機上盒12870中。
具有適當天線12910之汽車12920可接收自衛星12900或圖21之無線基地台11700傳輸之信號。經解碼之視訊可再生於安裝於汽車12920中之汽車導航系統12930的顯示螢幕上。
視訊信號可由根據本發明之一實施例的視訊編碼裝置編碼，且接著可儲存於儲存媒體中。具體言之，影像信號可由DVD記錄器儲存於DVD光碟12960中，或可由硬碟記錄器12950儲存 於硬碟中。作為另一實例，視訊信號可儲存於SD卡12970中。若硬碟記錄器12950包含根據本發明之一實施例的視訊解碼裝置，則記錄在DVD光碟12960、SD卡12970或另一儲存媒體上之視訊信號可再生於TV監視器12880上。
汽車導航系統12930可能不包含圖23之相機12530、相機介面12630以及影像編碼單元12720。舉例而言，電腦12100以及TV接收器12810可能不包含於圖23之相機12530、相機介面12630以及影像編碼單元12720中。
圖25為說明根據本發明之一實施例的使用視訊編碼裝置與視訊解碼裝置之雲端計算系統的網路結構的圖式。
雲端計算系統可包含雲端計算伺服器14000、使用者資料庫(DB)14100、多個計算資源14200以及使用者終端機。
雲端計算系統回應於使用者終端機之請求，經由資料通信網路(例如，網際網路)提供多個計算資源14200之應需委外服務。在雲端計算環境下，服務提供商藉由使用虛擬化技術來在位於實體上不同之位置的資料中心處合併計算資源，而為使用者提供所需服務。服務使用者不必將計算資源(例如，應用程式、儲存器、作業系統(OS)以及保全機制)安裝至其終端機中以便使用，而是可在所需時間點自經由虛擬化技術而產生之虛擬空間中之服務選擇且使用所需服務。
所規定之服務使用者的使用者終端機經由包含網際網路以及行動電信網路之資料通信網路連接至雲端計算伺服器14000。使用者終端機可自雲端計算伺服器14000而被提供雲端計 算服務，且特別是視訊再生服務。使用者終端機可為能夠連接至網際網路之各種類型的電子裝置，例如，桌上型PC 14300、智慧型TV 14400、智慧型電話14500、筆記型電腦14600、攜帶型多媒體播放器(portable multimedia player；PMP)14700、平板型PC 14800以及類似者。
雲端計算伺服器14000可合併散佈於雲端網路中之多個計算資源14200，並為使用者終端機提供合併之結果。多個計算資源14200可包含各種資料服務，且可包含自使用者終端機上傳之資料。如上文所述，雲端計算伺服器14000可藉由根據虛擬化技術合併散佈於不同區域中之視訊資料庫，來為使用者終端機提供所需服務。
關於已預訂雲端計算服務之使用者的使用者資訊儲存於使用者DB 14100中。使用者資訊可包含使用者之登錄資訊、地址、名稱以及個人信用資訊。使用者資訊可更包含視訊之索引。此處，索引可包含已再生之視訊的清單、正再生之視訊的清單、正再生之視訊的暫停點以及類似者。
關於儲存於使用者DB 14100中之視訊的資訊可在使用者裝置之間共用。舉例而言，當回應於來自筆記型電腦14600之請求而將視訊服務提供至筆記型電腦14600時，視訊之再生歷史儲存於使用者DB 14100中。當自智慧型電話14500接收再生此視訊服務之請求時，雲端計算伺服器14000基於使用者DB 14100搜尋並再生此視訊服務。在智慧型電話14500自雲端計算伺服器14000接收視訊資料串流時，藉由對視訊資料串流進行解碼來再生 視訊之程序類似於上文參考圖22與圖23所描述之行動電話12500之操作。
雲端計算伺服器14000可參考儲存於使用者DB 14100中的所需視訊服務之再生歷史。舉例而言，雲端計算伺服器14000自使用者終端機接收再生儲存於使用者DB 14100中之視訊的請求。若此視訊正在再生，則雲端計算伺服器14000所執行的串流傳輸此視訊之方法可根據來自使用者終端機之請求(亦即，根據視訊是將自其起點還是自其暫停點開始再生)而改變。舉例而言，若使用者終端機請求自視訊之起點開始再生所述視訊，則雲端計算伺服器14000將自視訊之第一個畫面開始將視訊之串流資料傳輸至使用者終端機。若使用者終端機請求自視訊之暫停點開始再生所述視訊，則雲端計算伺服器14000將自對應於所述暫停點之畫面開始將視訊之串流資料傳輸至使用者終端機。
在此狀況下，使用者終端機可包含上文參考圖1至圖18所描述之視訊解碼裝置。作為另一實例，使用者終端機可包含上文參考圖1至圖18所描述之視訊編碼裝置。或者，使用者終端機可包含上文參考圖1至圖18所描述之視訊解碼裝置以及視訊編碼裝置兩者。
已參考圖19至圖25描述了上文參考圖1至圖18所描述之根據本發明之實施例的視訊編碼方法、視訊解碼方法、視訊編碼裝置以及視訊解碼裝置的各種應用。然而，根據本發明之各種實施例的將視訊編碼方法以及視訊解碼方法儲存於儲存媒體之方法或將視訊編碼裝置以及視訊解碼裝置實施於裝置中之方法不 限制於上文參考圖19至圖25所描述的實施例。
13、15、17‧‧‧操作

Claims (3)

  1. 一種視訊解碼方法，包括：從位元串流取得關於當前影像的當前長期參考影像的圖像次序資訊的最低有效位元(LSB)資訊；藉由使用關於所述當前影像的先前長期參考影像的圖像次序資訊的最高有效位元(MSB)資訊，判定關於所述當前影像的所述當前長期參考影像的所述圖像次序資訊的最高有效位元(MSB)資訊；藉由使用關於所述當前影像的所述當前長期參考影像的所述圖像次序資訊的所述最高有效位元(MSB)資訊及所述最低有效位元(LSB)資訊，判定關於所述當前影像的所述當前長期參考影像的所述圖像次序資訊；以及使用所述當前影像的所述當前長期參考影像的所述圖像次序資訊對應的所述當前影像的所述當前長期參考影像復原所述當前影像。
  2. 如申請專利範圍第1項所述之方法，其中所述圖像次序資訊代表圖像次序號(POC)。
  3. 如申請專利範圍第1項所述之方法，其中關於所述當前影像的所述當前長期參考影像的所述圖像次序資訊的所述最高有效位元(MSB)資訊是關於將所述當前影像的所述當前長期參考影像的所述圖像次序資訊除以所述最低有效位元(LSB)資訊的最大大小的商的資訊，而所述最低有效位元(LSB)資訊是將所述當前影像的所述當前長期參考影像的所述圖像次序資訊除以所述最低有效位元(LSB)資訊的所述最大大小的餘數。
TW101139992A 2011-10-28 2012-10-29 視訊解碼方法 TWI552581B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201161552698P 2011-10-28 2011-10-28

Publications (2)

Publication Number Publication Date
TW201325254A TW201325254A (zh) 2013-06-16
TWI552581B true TWI552581B (zh) 2016-10-01

Family

ID=48168120

Family Applications (4)

Application Number Title Priority Date Filing Date
TW107106198A TWI692245B (zh) 2011-10-28 2012-10-29 視訊解碼裝置、視訊編碼方法及裝置與電腦可讀儲存媒體
TW101139992A TWI552581B (zh) 2011-10-28 2012-10-29 視訊解碼方法
TW106103408A TWI622288B (zh) 2011-10-28 2012-10-29 視訊解碼方法
TW105126004A TWI575944B (zh) 2011-10-28 2012-10-29 視訊解碼裝置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107106198A TWI692245B (zh) 2011-10-28 2012-10-29 視訊解碼裝置、視訊編碼方法及裝置與電腦可讀儲存媒體

Family Applications After (2)

Application Number Title Priority Date Filing Date
TW106103408A TWI622288B (zh) 2011-10-28 2012-10-29 視訊解碼方法
TW105126004A TWI575944B (zh) 2011-10-28 2012-10-29 視訊解碼裝置

Country Status (16)

Country Link
US (5) US9936197B2 (zh)
EP (1) EP2773119A4 (zh)
JP (3) JP5869688B2 (zh)
KR (5) KR101733795B1 (zh)
CN (5) CN107231560B (zh)
AU (3) AU2012329678B2 (zh)
BR (2) BR122021007881B1 (zh)
CA (2) CA2853788C (zh)
IN (1) IN2014MN00926A (zh)
MX (2) MX346477B (zh)
MY (1) MY172917A (zh)
PH (4) PH12016502413A1 (zh)
SG (3) SG10201606572RA (zh)
TW (4) TWI692245B (zh)
WO (1) WO2013062391A1 (zh)
ZA (1) ZA201403878B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
US9936197B2 (en) 2011-10-28 2018-04-03 Samsung Electronics Co., Ltd. Method for inter prediction and device therefore, and method for motion compensation and device therefore
US10003817B2 (en) 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
US20130188709A1 (en) 2012-01-25 2013-07-25 Sachin G. Deshpande Video decoder for tiles with absolute signaling
US9979958B2 (en) 2012-04-20 2018-05-22 Qualcomm Incorporated Decoded picture buffer processing for random access point pictures in video sequences
US9319679B2 (en) * 2012-06-07 2016-04-19 Qualcomm Incorporated Signaling data for long term reference pictures for video coding
US9479776B2 (en) * 2012-07-02 2016-10-25 Qualcomm Incorporated Signaling of long-term reference pictures for video coding
US9313500B2 (en) 2012-09-30 2016-04-12 Microsoft Technology Licensing, Llc Conditional signalling of reference picture list modification information
EP2946558B1 (en) * 2013-01-15 2020-04-29 Huawei Technologies Co., Ltd. Method for decoding an hevc video bitstream
US9565454B2 (en) * 2013-06-24 2017-02-07 Microsoft Technology Licensing, Llc Picture referencing control for video decoding using a graphics processor
US9807419B2 (en) * 2014-06-25 2017-10-31 Qualcomm Incorporated Recovery point SEI message in multi-layer video codecs
CN112584140B (zh) * 2014-11-27 2024-08-13 株式会社Kt 对视频信号进行解码或编码的方法
KR102302674B1 (ko) * 2015-05-13 2021-09-16 삼성전자주식회사 영상신호 제공장치 및 영상신호 제공방법
CN106937168B (zh) * 2015-12-30 2020-05-12 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
CN117221575A (zh) 2016-10-04 2023-12-12 英迪股份有限公司 图像解码方法、图像编码方法以及发送比特流的方法
CN108243339B (zh) 2016-12-27 2021-02-26 浙江大学 图像编解码方法及装置
US10484710B2 (en) * 2018-03-21 2019-11-19 Novatek Microelectronics Corp. Video encoding apparatus and method
CN113315975B (zh) * 2018-03-29 2022-12-06 华为技术有限公司 一种双向帧间预测方法及装置
WO2020060351A1 (ko) * 2018-09-21 2020-03-26 엘지전자 주식회사 움직임 벡터를 도출하는 방법 및 그 장치
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
JP7335365B2 (ja) 2019-06-24 2023-08-29 エルジー エレクトロニクス インコーポレイティド 動きベクトル差分を利用した映像コーディング方法及び装置
KR20240029111A (ko) 2019-06-24 2024-03-05 엘지전자 주식회사 움직임 벡터를 이용한 영상 코딩 방법 및 장치
CA3145240C (en) 2019-06-24 2024-06-11 Lg Electronics Inc. Inter prediction-based image coding method and apparatus
CN111405282B (zh) * 2020-04-21 2022-04-01 广州市百果园信息技术有限公司 基于长期参考帧的视频编码方法、装置、设备和存储介质
EP4156688A4 (en) * 2020-05-22 2024-05-15 LG Electronics, Inc. IMAGE CODING METHOD AND ASSOCIATED DEVICE
CN114205615B (zh) * 2021-12-03 2024-02-06 北京达佳互联信息技术有限公司 解码图像缓存区的管理方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080232467A1 (en) * 2005-01-17 2008-09-25 Masayasu Iguchi Image Decoding Method

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4326758B2 (ja) * 1995-11-02 2009-09-09 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
JP3347954B2 (ja) 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
EP1368898A2 (en) * 2001-03-05 2003-12-10 Koninklijke Philips Electronics N.V. Device and method for compressing a signal
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
KR100901030B1 (ko) 2002-05-11 2009-06-04 엘지전자 주식회사 동영상 코딩방법
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
JP2004163697A (ja) * 2002-11-13 2004-06-10 Canon Inc 画像形成装置
KR100934518B1 (ko) 2003-03-05 2009-12-29 엘지전자 주식회사 동영상 코딩 방법
US20050207490A1 (en) 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
KR100961294B1 (ko) 2005-06-10 2010-06-04 엘지전자 주식회사 이미지 블록 예측 방법
WO2007035476A2 (en) * 2005-09-15 2007-03-29 Sarnoff Corporation Methods and systems for mixed spatial resolution video compression
CN104125464A (zh) 2005-12-08 2014-10-29 维德约股份有限公司 用于视频通信系统中的差错弹性和随机接入的系统和方法
WO2008086423A2 (en) 2007-01-09 2008-07-17 Vidyo, Inc. Improved systems and methods for error resilience in video communication systems
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
JP2010263615A (ja) * 2009-04-08 2010-11-18 Sony Corp 情報処理装置、情報処理方法、再生装置、再生方法
JP5267886B2 (ja) 2009-04-08 2013-08-21 ソニー株式会社 再生装置、記録媒体、および情報処理方法
JP5258664B2 (ja) * 2009-04-14 2013-08-07 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、方法およびプログラム、並びに、画像復号装置、方法およびプログラム
KR101522850B1 (ko) 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US20120056638A1 (en) 2010-03-10 2012-03-08 Alion, Inc. Systems and methods for monitoring and diagnostics of photovoltaic solar modules in photovoltaic systems
US9066102B2 (en) * 2010-11-17 2015-06-23 Qualcomm Incorporated Reference picture list construction for generalized P/B frames in video coding
MY166191A (en) 2011-06-30 2018-06-07 Ericsson Telefon Ab L M Absolute or explicit reference picture signaling
US9237356B2 (en) 2011-09-23 2016-01-12 Qualcomm Incorporated Reference picture list construction for video coding
CN103843341B (zh) * 2011-09-27 2017-06-13 瑞典爱立信有限公司 用于管理视频解码过程中的画面的解码器及其方法
US20130089152A1 (en) * 2011-10-05 2013-04-11 Qualcomm Incorporated Signaling picture identification for video coding
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) * 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US9936197B2 (en) 2011-10-28 2018-04-03 Samsung Electronics Co., Ltd. Method for inter prediction and device therefore, and method for motion compensation and device therefore

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080232467A1 (en) * 2005-01-17 2008-09-25 Masayasu Iguchi Image Decoding Method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
R. Sjoberg, J. Samuelsson, Absolute signaling of reference pictures, Joint Collaborative Team on Video Coding (JCTVC) of ITU-T of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 2011/07/18. *

Also Published As

Publication number Publication date
US11206414B2 (en) 2021-12-21
KR20130047651A (ko) 2013-05-08
WO2013062391A1 (ko) 2013-05-02
SG11201401880VA (en) 2014-07-30
BR112014010193B1 (pt) 2022-09-20
CN107231560B (zh) 2020-03-13
US20210021845A1 (en) 2021-01-21
PH12016502413B1 (en) 2017-03-13
KR101838112B1 (ko) 2018-03-13
KR101733796B1 (ko) 2017-05-10
US20220086465A1 (en) 2022-03-17
KR102062767B1 (ko) 2020-01-06
US10819989B2 (en) 2020-10-27
JP6473125B2 (ja) 2019-02-20
TWI622288B (zh) 2018-04-21
MX346477B (es) 2017-03-22
CA2964879C (en) 2020-04-14
KR20190032334A (ko) 2019-03-27
JP2016042747A (ja) 2016-03-31
MX2014005115A (es) 2014-08-27
CA2853788A1 (en) 2013-05-02
CN107277532A (zh) 2017-10-20
ZA201403878B (en) 2019-11-27
US9936197B2 (en) 2018-04-03
CN107277533B (zh) 2020-04-24
JP6046839B2 (ja) 2016-12-21
CA2853788C (en) 2017-06-06
KR20150009499A (ko) 2015-01-26
EP2773119A4 (en) 2015-09-09
KR20180037607A (ko) 2018-04-12
CN107277531B (zh) 2020-02-28
JP5869688B2 (ja) 2016-02-24
TWI692245B (zh) 2020-04-21
CN107277531A (zh) 2017-10-20
CN104081779B (zh) 2017-09-05
PH12016502412B1 (en) 2017-03-13
PH12016502409B1 (en) 2017-03-13
PH12016502410A1 (en) 2017-03-13
PH12016502413A1 (en) 2017-03-13
US20180199045A1 (en) 2018-07-12
KR20170063461A (ko) 2017-06-08
MY172917A (en) 2019-12-13
KR101733795B1 (ko) 2017-05-10
JP2017055440A (ja) 2017-03-16
CN107231560A (zh) 2017-10-03
CN104081779A (zh) 2014-10-01
TW201325254A (zh) 2013-06-16
SG10201606572RA (en) 2016-10-28
AU2012329678A1 (en) 2014-06-12
BR112014010193A2 (pt) 2017-04-18
AU2016200353A1 (en) 2016-02-11
KR101961888B1 (ko) 2019-03-25
TW201715890A (zh) 2017-05-01
PH12016502409A1 (en) 2017-03-13
PH12016502410B1 (en) 2017-03-13
US20200162750A1 (en) 2020-05-21
CA2964879A1 (en) 2013-05-02
EP2773119A1 (en) 2014-09-03
SG10201801332XA (en) 2018-04-27
AU2016200353B2 (en) 2017-09-28
AU2017279589B2 (en) 2019-02-14
CN107277532B (zh) 2020-04-21
TW201820875A (zh) 2018-06-01
IN2014MN00926A (zh) 2015-04-17
US20140301473A1 (en) 2014-10-09
PH12016502412A1 (en) 2017-03-13
JP2014534729A (ja) 2014-12-18
CN107277533A (zh) 2017-10-20
TW201642657A (zh) 2016-12-01
BR122021007881B1 (pt) 2023-03-21
TWI575944B (zh) 2017-03-21
AU2012329678B2 (en) 2015-11-05
US11962791B2 (en) 2024-04-16
AU2017279589A1 (en) 2018-01-18
US10575002B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
US11962791B2 (en) Method for inter prediction and device therefor, and method for motion compensation and device therefor
TWI532370B (zh) 解碼影像的方法
TWI604721B (zh) 畫面間預測的運動向量預測方法與裝置
TW201325247A (zh) 在視訊解碼的反量化及逆轉換期間實現資料修剪的逆轉換方法及設備
TW201701670A (zh) 視訊解碼裝置
TWI661711B (zh) 視訊解碼方法、視訊編碼方法、裝置及非暫態電腦可讀儲存媒體