TWI552579B - 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體 - Google Patents

視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體 Download PDF

Info

Publication number
TWI552579B
TWI552579B TW103114342A TW103114342A TWI552579B TW I552579 B TWI552579 B TW I552579B TW 103114342 A TW103114342 A TW 103114342A TW 103114342 A TW103114342 A TW 103114342A TW I552579 B TWI552579 B TW I552579B
Authority
TW
Taiwan
Prior art keywords
sao
lcu
unit
video
information
Prior art date
Application number
TW103114342A
Other languages
English (en)
Other versions
TW201507439A (zh
Inventor
崔容碩
朱宰煥
李敎爀
Original Assignee
三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三星電子股份有限公司 filed Critical 三星電子股份有限公司
Publication of TW201507439A publication Critical patent/TW201507439A/zh
Application granted granted Critical
Publication of TWI552579B publication Critical patent/TWI552579B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒 體 【相關申請案的交叉參考】
本申請案主張2013年4月19日在USPTO申請的美國專利申請案第61/813,757號以及2014年4月10日在韓國智慧財產局申請的韓國專利申請案第10-2014-0043204號的權益,所述申請案的全部揭露內容以引用的方式併入本文中。
例示性實施例是關於依據取樣自適應偏移(sample adaptive offset,SAO)參數的發訊的視訊編碼方法與裝置以及視訊解碼方法與裝置。
隨著用於再生以及儲存高解析度或高品質視訊內容的硬體正被開發以及供應,對用於有效地對高解析度或高品質視訊內容做編碼或解碼的視訊編解碼器的需要增加。根據先前技術的視 訊編解碼器,基於具有預定大小的寫碼單元而根據有限編碼方法來對視訊做編碼。
經由頻率變換而將空間域的影像資料變換為頻域的係數。根據視訊編解碼器,將影像分割為具有預定大小的區塊,對每一區塊執行離散餘弦變換(discrete cosine transformation,DCT),且以區塊為單位來對頻率係數做編碼,以實現頻率變換的快速計算。相比空間域的影像資料,容易壓縮頻域的係數。特定而言,因為經由視訊編解碼器的畫面間預測或畫面內預測根據預測誤差來表達空間域的影像像素值,所以在對預測誤差執行頻率變換時,可將大量資料變換為0。根據視訊編解碼器,可藉由將連續且重複產生的資料替換為較小大小的資料而減少資料量。
特定而言,在對視訊做編碼及解碼的操作期間,可使用將經重新建構的像素的值調整多達SAO的方法以便使原始影像與經重新建構的影像之間的誤差最小化。
例示性實施例是關於藉由使用動態影像內的時間及空間相關,基於在執行解區塊濾波之前自當前最大寫碼單元的經重新建構的影像獲得的資料,而預測取樣自適應偏移(SAO)參數,藉此改善由於SAO編碼引起的電路區域以及電力消耗的效率低下。
例示性實施例是關於提供一種基於自最大寫碼單元獲得 的方向性資訊而判定邊緣偏移的類別的方法,藉此改良用於判定SAO參數的電路實施效率以及電力消耗。
額外的態樣將部分闡述於下文的描述中,且將部分自所述描述顯而易見,或可藉由實踐例示性實施例而獲悉。
根據例示性實施例,一種用信號發送取樣自適應偏移(SAO)參數的視訊編碼方法包含:在當前編碼的最大寫碼單元(largest coding unit,LCU)的解區塊得以執行之前,自視訊的LCU獲得預測資訊;基於所述所獲得的預測資訊而預測所述當前編碼的LCU的SAO參數;以及對所述所預測的SAO參數執行熵編碼。
所述當前編碼的LCU的所述SAO參數的所述預測可獨立於所述當前編碼的LCU的所述解區塊。
所述預測資訊的所述獲得可包含:在執行所述當前編碼的LCU的所述解區塊之前,獲得另一經編碼的寫碼單元的SAO參數。
所述預測資訊可為包含所述當前編碼的LCU的畫面內的先前編碼的LCU的SAO參數。
所述預測資訊可為包含所述當前編碼的LCU的畫面之前的畫面的經編碼的LCU的SAO參數。
所述預測資訊的所述獲得可包含:在執行所述當前編碼的LCU的所述解區塊之前獲得經重新建構的像素值,且其中所述SAO參數的所述預測可包含:基於所述像素值而預測所述當前編 碼的LCU的所述SAO參數。
所述預測資訊可包含在所述當前編碼的LCU得以重新建構之前獲得的留數資料(residue data)、運動向量以及畫面內模式(intra mode)中的至少一者。
所述視訊編碼方法可更包含:對所述當前編碼的LCU執行解區塊;以及藉由使用被執行所述解區塊的所述當前編碼的LCU來判定SAO參數,其中關於被執行所述解區塊的所述當前編碼的LCU而判定的所述SAO參數用於對後續編碼的LCU執行SAO預測。
所述視訊編碼方法可在具有管線結構的級單元中執行,且其中所述解區塊的所述執行以及對所述所預測的SAO參數的熵編碼的所述執行是在同一管線級中並行執行。
根據例示性實施例,一種用信號發送SAO參數的視訊編碼方法包含:自視訊的LCU獲得當前編碼的LCU的方向性資訊;基於所述所獲得的方向性資訊而判定所述當前編碼的LCU的邊緣偏移參數;以及對所述所判定的邊緣偏移參數執行熵編碼。
所述邊緣偏移參數的所述判定可包含:將方向性與基於所述方向性資訊而獲得的方向相同或正交的邊緣類別判定為所述邊緣偏移參數。
所述方向性資訊的所述獲得可包含:藉由使用預定邊緣演算法來獲得所述當前編碼的LCU的邊緣的方向性資訊。
所述方向性資訊的所述獲得可包含:藉由使用所述當前編碼的LCU的畫面內模式資訊來獲得所述方向性資訊。
所述方向性資訊的所述獲得可包含:當所述當前編碼的LCU中所包含的預測單元的畫面內模式彼此不同時,計算關於所述預測單元的所述畫面內模式的直方圖,且自所述直方圖基於所述畫面內模式的出現次數而獲得所述方向性資訊。
所述方向性資訊的所述獲得可包含:基於所述當前編碼的LCU的運動向量而獲得所述方向性資訊。
根據例示性實施例,一種用於用信號發送SAO參數的視訊編碼裝置包含:預測資訊預測器,用於在當前編碼的LCU的解區塊得以執行之前,自視訊的LCU獲得預測資訊;SAO參數估計器,用於基於所述所獲得的預測資訊而預測所述當前編碼的LCU的SAO參數;以及編碼器,用於對所述所預測的SAO參數執行熵編碼。
在所述當前編碼的LCU的所述解區塊得以執行之前,所述預測資訊預測器可獲得另一經編碼的寫碼單元的SAO參數。
所述預測資訊可包含在所述當前編碼的LCU的所述解區塊得以執行之前重新建構的當前LCU的像素值、留數資料、運動向量以及畫面內模式中的至少一者。
所述視訊編碼裝置可更包含:解區塊器,用於對所述當前編碼的LCU執行解區塊;以及SAO判定器,用於藉由使用被 執行解區塊的所述當前編碼的LCU來判定SAO參數,其中關於被執行解區塊的所述當前編碼的LCU而判定的所述SAO參數用於對後續編碼的LCU執行SAO預測。
根據例示性實施例,一種用於用信號發送SAO參數的視訊編碼裝置包含:方向性資訊獲得器,用於自視訊的LCU獲得當前編碼的LCU的方向性資訊;邊緣偏移參數判定器,用於基於所述所獲得的方向性資訊而判定所述當前編碼的LCU的邊緣偏移參數;以及編碼器,用於對所述所判定的邊緣偏移參數執行熵編碼。
所述邊緣偏移參數判定器可將方向性與基於所述方向性資訊而獲得的方向相同或正交的邊緣類別判定為所述邊緣偏移參數。
所述方向性資訊獲得器可藉由使用預定邊緣演算法來獲得所述當前編碼的LCU的邊緣的方向性資訊。
所述方向性資訊獲得器可藉由使用所述當前編碼的LCU的畫面內模式資訊來獲得所述方向性資訊。
當所述當前編碼的LCU中所包含的預測單元的畫面內模式彼此不同時,所述方向性資訊獲得器可計算關於所述預測單元的所述畫面內模式的直方圖,且自所述直方圖基於所述畫面內模式的出現次數而獲得所述方向性資訊。
所述方向性資訊獲得器可基於所述當前編碼的LCU的運動向量而獲得所述方向性資訊。
根據一或多個實施例的另一態樣,提供一種非暫時性電腦可讀記錄媒體,其上記錄有用於執行所述視訊編碼方法的電腦程式。
10‧‧‧SAO編碼裝置/視訊編碼裝置
11‧‧‧操作
12‧‧‧預測資訊獲得器
13‧‧‧操作
14‧‧‧SAO參數預測器
15‧‧‧操作
16‧‧‧SAO編碼器
20‧‧‧SAO解碼裝置
21‧‧‧操作
22‧‧‧SAO參數提取器
23‧‧‧操作
24‧‧‧SAO判定器
25‧‧‧操作
26‧‧‧SAO執行器
30‧‧‧視訊解碼裝置
31‧‧‧熵解碼器
32‧‧‧解量化器
33‧‧‧逆變換器
34‧‧‧重新建構器
35‧‧‧畫面內預測器
36‧‧‧參考圖像緩衝器
37‧‧‧運動補償器
38‧‧‧解區塊濾波器
39‧‧‧SAO執行器
41‧‧‧邊緣類別
42‧‧‧邊緣類別
43‧‧‧邊緣類別
44‧‧‧邊緣類別
51‧‧‧圖表
52‧‧‧圖表
53‧‧‧圖表
54‧‧‧圖表
55‧‧‧圖表
56‧‧‧圖表
61‧‧‧編碼級
62‧‧‧編碼級
63‧‧‧編碼級
64‧‧‧變換係數
65‧‧‧語法元素
66‧‧‧經重新建構的資料
67‧‧‧位元串流
68‧‧‧被執行解區塊的經重新建構的資料
69‧‧‧SAO參數
70‧‧‧當前編碼的LCU
71‧‧‧先前編碼的LCU
72‧‧‧位元串流
73‧‧‧SAO參數
74‧‧‧LCU #n-1語法
75‧‧‧經重新建構的資料
76‧‧‧被執行解區塊的經重新建構的資料
77‧‧‧SAO參數
80‧‧‧當前編碼的LCU
81‧‧‧先前編碼的LCU
82‧‧‧當前編碼的LCU
83‧‧‧先前編碼的LCU
84‧‧‧級
85‧‧‧SAO級
86‧‧‧留數
87‧‧‧預測參數
88‧‧‧SAO參數
89‧‧‧位元串流
90‧‧‧SAO編碼裝置
91‧‧‧操作
92‧‧‧方向性資訊獲得器
93‧‧‧操作
94‧‧‧邊緣偏移參數判定器
95‧‧‧操作
96‧‧‧SAO編碼器
100‧‧‧視訊編碼裝置
110‧‧‧LCU分割器
120‧‧‧寫碼單元判定器
130‧‧‧輸出器
200‧‧‧視訊解碼裝置
210‧‧‧接收器
220‧‧‧影像資料以及編碼資訊提取器
230‧‧‧影像資料解碼器
310‧‧‧視訊資料
315‧‧‧寫碼單元
320‧‧‧視訊資料
325‧‧‧寫碼單元
330‧‧‧視訊資料
335‧‧‧寫碼單元
400‧‧‧影像編碼器
405‧‧‧當前影像
410‧‧‧經重新建構圖像緩衝器
415‧‧‧畫面間預測器
420‧‧‧畫面內預測器
425‧‧‧變換器
430‧‧‧量化器
435‧‧‧熵編碼器
440‧‧‧位元串流
445‧‧‧解量化器
450‧‧‧逆變換器
455‧‧‧解區塊器
460‧‧‧SAO執行器
500‧‧‧影像解碼器
505‧‧‧位元串流
515‧‧‧熵解碼器
520‧‧‧解量化器
525‧‧‧逆變換器
530‧‧‧經重新建構圖像緩衝器
535‧‧‧畫面間預測器
540‧‧‧畫面內預測器
545‧‧‧解區塊器
550‧‧‧SAO執行器
560‧‧‧經重新建構的影像
600‧‧‧階層式結構
610‧‧‧寫碼單元
612‧‧‧分區
614‧‧‧分區
616‧‧‧分區
620‧‧‧寫碼單元
622‧‧‧分區
624‧‧‧分區
626‧‧‧分區
630‧‧‧寫碼單元
632‧‧‧分區
634‧‧‧分區
636‧‧‧分區
640‧‧‧寫碼單元
642‧‧‧分區
644‧‧‧分區
646‧‧‧分區
710‧‧‧寫碼單元
720‧‧‧變換單元
800‧‧‧資訊
802‧‧‧分區
804‧‧‧分區
806‧‧‧分區
808‧‧‧分區
810‧‧‧資訊
812‧‧‧畫面內模式
814‧‧‧畫面間模式
816‧‧‧跳過模式
820‧‧‧資訊
822‧‧‧第一畫面內變換單元
824‧‧‧第二畫面內變換單元
826‧‧‧第一畫面間變換單元
828‧‧‧第二畫面間變換單元
900‧‧‧寫碼單元
910‧‧‧預測單元
912‧‧‧分區模式/分區
914‧‧‧分區模式
916‧‧‧分區模式
918‧‧‧分區模式
920‧‧‧操作
930‧‧‧寫碼單元
940‧‧‧預測單元
942‧‧‧分區模式
944‧‧‧分區模式
946‧‧‧分區模式
948‧‧‧分區模式
950‧‧‧操作
960‧‧‧寫碼單元
970‧‧‧操作
980‧‧‧寫碼單元
990‧‧‧預測單元
992‧‧‧分區模式
994‧‧‧分區模式
996‧‧‧分區模式
998‧‧‧分區模式
999‧‧‧資料單元
1010‧‧‧寫碼單元
1012‧‧‧寫碼單元
1014‧‧‧寫碼單元
1016‧‧‧寫碼單元
1018‧‧‧寫碼單元
1020‧‧‧寫碼單元
1022‧‧‧寫碼單元
1024‧‧‧寫碼單元
1026‧‧‧寫碼單元
1028‧‧‧寫碼單元
1030‧‧‧寫碼單元
1032‧‧‧寫碼單元
1040‧‧‧寫碼單元
1042‧‧‧寫碼單元
1044‧‧‧寫碼單元
1046‧‧‧寫碼單元
1048‧‧‧寫碼單元
1050‧‧‧寫碼單元
1052‧‧‧寫碼單元
1054‧‧‧寫碼單元
1060‧‧‧預測單元
1070‧‧‧變換單元
1201‧‧‧邊緣
1202‧‧‧邊緣類別
1203‧‧‧邊緣類別
1204‧‧‧所獲得的方向
1205‧‧‧表
1206‧‧‧邊緣類別
1207‧‧‧邊緣類別
1208‧‧‧運動向量
1209‧‧‧邊緣類別
1210‧‧‧邊緣類別
1300‧‧‧LCU
1302‧‧‧寫碼單元
1304‧‧‧寫碼單元
1306‧‧‧寫碼單元
1312‧‧‧寫碼單元
1314‧‧‧寫碼單元
1316‧‧‧寫碼單元
1318‧‧‧寫碼單元
1322‧‧‧分區模式
1324‧‧‧分區模式
1326‧‧‧分區模式
1328‧‧‧分區模式
1332‧‧‧分區模式
1334‧‧‧分區模式
1336‧‧‧分區模式
1338‧‧‧分區模式
1342‧‧‧變換單元
1344‧‧‧變換單元
1352‧‧‧變換單元
1354‧‧‧變換單元
11000‧‧‧內容供應系統
11100‧‧‧網際網路
11200‧‧‧網際網路服務提供商
11300‧‧‧串流伺服器
11400‧‧‧通訊網路
11700‧‧‧無線基地台
11800‧‧‧無線基地台
11900‧‧‧無線基地台
12000‧‧‧無線基地台
12100‧‧‧電腦
12200‧‧‧個人數位助理
12300‧‧‧視訊攝影機
12500‧‧‧行動電話
12510‧‧‧內部天線
12520‧‧‧顯示螢幕
12530‧‧‧相機
12540‧‧‧操作面板
12550‧‧‧麥克風
12560‧‧‧插槽
12570‧‧‧儲存媒體
12580‧‧‧揚聲器
12600‧‧‧相機
12610‧‧‧通訊電路
12620‧‧‧LCD控制器
12630‧‧‧相機介面
12640‧‧‧操作輸入控制器
12650‧‧‧聲音處理器
12660‧‧‧調變器/解調變器
12670‧‧‧記錄器/讀取器
12680‧‧‧多工器/解多工器
12690‧‧‧影像解碼器
12700‧‧‧電力供應電路
12710‧‧‧中央控制器
12720‧‧‧影像編碼器
12730‧‧‧同步匯流排
12810‧‧‧TV接收器
12820‧‧‧儲存媒體
12830‧‧‧再生裝置
12840‧‧‧監視器
12850‧‧‧電纜天線
12860‧‧‧天線
12870‧‧‧機上盒
12880‧‧‧TV監視器
12890‧‧‧廣播站
12900‧‧‧廣播衛星
12910‧‧‧天線
12920‧‧‧汽車
12930‧‧‧汽車導航系統
12950‧‧‧硬碟記錄器
12960‧‧‧DVD光碟
12970‧‧‧SD卡
14000‧‧‧雲端計算伺服器
14100‧‧‧使用者資料庫
14200‧‧‧計算資源
14300‧‧‧桌上型PC
14400‧‧‧智慧型TV
14500‧‧‧智慧型電話
14600‧‧‧筆記型電腦
14700‧‧‧攜帶型多媒體播放器
14800‧‧‧平板型PC
26000‧‧‧光碟
26700‧‧‧電腦系統
26800‧‧‧光碟機
CU‧‧‧寫碼單元
CU_0‧‧‧當前寫碼單元
CU_1‧‧‧寫碼單元
CU_(d-1)‧‧‧寫碼單元
PU‧‧‧預測單元
Se‧‧‧磁區
t‧‧‧管線級
t+1‧‧‧管線級
t+2‧‧‧管線級
t+3‧‧‧管線級
Tr‧‧‧同心磁軌
TU‧‧‧變換單元
從實施例的以下描述結合附圖,此等及/或其他態樣將變得顯而易見且更容易理解。
圖1A及圖1B分別為根據一或多個例示性實施例的取樣自適應偏移(SAO)編碼裝置的方塊圖以及SAO編碼方法的流程圖。
圖2A及圖2B分別為根據一或多個例示性實施例的SAO解碼裝置的方塊圖以及SAO解碼方法的流程圖。
圖3為根據另一例示性實施例的視訊解碼裝置的方塊圖。
圖4為展示根據一或多個實施例的邊緣類型的邊緣類別的表格。
圖5A及圖5B為展示根據一或多個例示性實施例的邊緣類型的種類的表格及圖表。
圖6A至圖6C為用於解釋根據例示性實施例的對SAO參數做編碼的方法的圖式。
圖7為用於解釋根據例示性實施例的對SAO參數做編碼的方法的圖式。
圖8說明根據例示性實施例的對SAO參數做編碼的方法的實例。
圖9說明根據例示性實施例的對SAO參數做編碼的方法的另一實例。
圖10說明根據例示性實施例的對SAO參數做編碼的方法的另一實例。
圖11A及圖11B分別為根據一或多個例示性實施例的SAO編碼裝置的方塊圖以及對邊緣類型的SAO參數做編碼的方法的流程圖。
圖12為用於解釋根據例示性實施例的對邊緣類型的SAO參數做編碼的方法的實例的圖式。
圖13為用於解釋根據例示性實施例的對邊緣類型的SAO參數做編碼的方法的另一實例的圖式。
圖14為用於解釋根據例示性實施例的對邊緣類型的SAO參數做編碼的方法的另一實例的圖式。
圖15為根據一或多個例示性實施例的基於根據樹狀結構的寫碼單元的視訊編碼裝置的方塊圖。
圖16為根據一或多個例示性實施例的基於根據樹狀結構的寫碼單元的視訊解碼裝置的方塊圖。
圖17為用於描述根據一或多個例示性實施例的寫碼單元的概念的圖式。
圖18為根據一或多個例示性實施例的基於寫碼單元的影像編碼器的方塊圖。
圖19為根據一或多個例示性實施例的基於寫碼單元的影像解碼器的方塊圖。
圖20為說明根據一或多個例示性實施例的根據深度的較深寫碼單元以及分區的圖式。
圖21為用於描述根據一或多個例示性實施例的寫碼單元與變換單元之間的關係的圖式。
圖22為用於描述根據一或多個例示性實施例的對應於深度的寫碼單元的編碼資訊的圖式。
圖23為根據一或多個例示性實施例的根據深度的較深寫碼單元的圖式。
圖24至圖26為用於描述根據一或多個例示性實施例的寫碼單元、預測單元與變換單元之間的關係的圖式。
圖27為用於描述根據表1的編碼模式資訊的寫碼單元、預測單元與變換單元之間的關係的圖式。
圖28為根據一或多個例示性實施例的儲存程式的光碟的實體結構的圖式。
圖29為藉由使用光而記錄以及讀取程式的光碟機的圖式。
圖30為提供內容散佈服務的內容供應系統的整體結構的圖式。
圖31及圖32分別為根據一或多個實施例的應用了視訊編碼方法以及視訊解碼方法的行動電話的外部結構以及內部結構的圖 式。
圖33為根據一或多個例示性實施例的應用了通訊系統的數位廣播系統的圖式。
圖34為說明根據一或多個例示性實施例的使用視訊編碼裝置以及視訊解碼裝置的雲端計算系統的網路結構的圖式。
現將詳細參考例示性實施例,所述例示性實施例的實例說明於附圖中,其中相似參考數字在全文中指示相似部件。就此而言,例示性實施例可具有不同形式且不應解釋為限於本文所闡述的描述。因此,在下文中,僅藉由參考附圖來描述例示性實施例以解釋本說明書的態樣。諸如「......中的至少一者」的表達在部件的清單之前時修飾部件的整個清單,而不是修飾清單的個別部件。
如本文中所使用,諸如「單元」及「模組」的術語指示用於處理至少一個功能或操作的單元,其中單元及區塊可體現為硬體或軟體或者可藉由組合硬體與軟體來體現。
如本文中所使用,術語「實施例」指關於例示性實施例而描述的特性、結構、特徵及其類似者。因此,諸如「根據一實施例」的表達不始終指同一例示性實施例。
下文中,將參照圖1至圖10來描述根據一或多個實施例的用信號發送取樣自適應偏移(SAO)參數的視訊編碼方法以及 視訊解碼方法。將參照圖11至圖14來描述根據實施例的對邊緣類型的SAO參數做編碼的方法。將參照圖15至圖34來描述根據一或多個實施例的基於具有樹狀結構的寫碼單元的視訊編碼操作以及視訊解碼操作中的基於像素分類的SAO操作。下文中,「影像」可表示視訊的靜態影像或動態影像或視訊自身。
現將參照圖1至圖10來描述根據一或多個實施例的用信號發送SAO參數的視訊編碼方法以及視訊解碼方法。
在SAO編碼裝置10與SAO解碼裝置20之間用信號發送樣本。亦即,SAO編碼裝置10可按照位元串流的形式來對藉由視訊編碼而產生的樣本做編碼且進行傳輸,且SAO解碼裝置20可自所接收的位元串流剖析且重新建構所述樣本。
為了藉由根據像素分類而判定的偏移來調整經重新建構的像素的像素值,從而使原始像素與經重新建構的像素之間的誤差最小化,根據實施例的SAO編碼裝置10以及SAO解碼裝置20用信號發送用於SAO調整的SAO參數。在SAO編碼裝置10與SAO解碼裝置20之間,將偏移值作為SAO參數來編碼及收發,以使得偏移值是自SAO參數解碼。
因此,根據實施例的SAO解碼裝置20可藉由以下方式而產生在原始影像與經重新建構的影像之間具有最小化的誤差的經重新建構的影像:對所接收的位元串流做解碼,產生影像區塊中的每一者的經重新建構的像素,自位元串流重新建構偏移值, 以及按照所述偏移值來調整經重新建構的像素。
現將參照圖1A及圖1B來描述執行SAO操作的SAO編碼裝置10的操作。現將參照圖2A及圖2B來描述執行SAO操作的SAO解碼裝置20的操作。
圖1A及圖1B分別為根據一或多個例示性實施例的SAO編碼裝置10的方塊圖以及使用SAO參數的預測進行的SAO編碼方法的流程圖。
根據實施例的SAO編碼裝置10包含預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16。
根據實施例的SAO編碼裝置10接收影像(諸如,視訊的片段)的輸入,將每一影像分割為區塊,且對每一區塊做編碼。區塊可具有正方形形狀、矩形形狀或任意幾何形狀且不限於具有預定大小的資料單元。根據一或多個實施例的區塊可為根據樹狀結構的寫碼單元中的最大寫碼單元(LCU)或CU。下文將參照圖15至圖34來描述基於根據樹狀結構的寫碼單元的視訊編碼以及解碼方法。
根據實施例的SAO編碼裝置10可將每一輸入影像分割為LCU,且可將藉由對每一LCU的樣本執行預測、變換以及熵編碼而產生的所得資料作為位元串流輸出。LCU的樣本可為LCU中所包含的像素的像素值資料。
根據實施例的SAO編碼裝置10可對影像的LCU個別地 做編碼。SAO編碼裝置10可基於自當前LCU分割且具有樹狀結構的寫碼單元來對當前LCU做編碼。
為了對當前LCU做編碼,SAO編碼裝置10可藉由對當前LCU中所包含且具有樹狀結構的寫碼單元中的每一者執行畫面內預測、畫面間預測、變換以及量化,而對樣本做編碼。
接著,SAO編碼裝置10可藉由對具有樹狀結構的寫碼單元中的每一者執行解量化、逆變換以及畫面間預測或畫面內補償以便對寫碼單元做解碼,而重新建構當前LCU中所包含的經編碼的樣本。
SAO編碼裝置10亦可對LCU中的經重新建構的樣本執行解區塊,以便減小區塊邊界中的影像惡化,且將SAO應用於被執行解區塊的LCU以便使原始像素與經重新建構的像素之間的誤差最小化。
然而,若SAO編碼裝置10將SAO應用於LCU,則需要延遲熵編碼,直至判定SAO參數以便用信號發送SAO參數為止。特定而言,因為需要執行解區塊以便判定SAO參數,所以硬體實施負載可能根據是否應用SAO而大幅增大。
總之,當以硬體實施SAO編碼裝置10時,需要延遲執行用於產生位元串流的熵編碼的操作,直至完成判定SAO參數的操作為止。為此,緩衝各種類型的資訊。因此,電路大小以及電力消耗可為低效的。
因此,根據實施例的SAO編碼裝置10可基於在當前LCU的解區塊濾波得以執行之前獲得的預測資訊來預測SAO參數,且對所預測的SAO參數執行熵編碼,藉此改良由於SAO編碼引起的電路區域以及電力消耗的低效。
根據實施例的預測資訊獲得器12可在解區塊得以對視訊的LCU中的當前編碼的LCU執行之前預測資訊。
預測資訊可包含可在解區塊得以對當前編碼的LCU執行之前獲得的資訊。舉例而言,預測資訊可包含當前編碼的寫碼單元的留數、畫面間預測期間的運動向量、畫面內預測期間的畫面內模式等。
根據實施例的預測資訊獲得器12可自先前編碼的寫碼單元預測當前編碼的LCU的SAO參數。舉例而言,預測資訊可為包含當前編碼的LCU的畫面內的先前編碼的LCU的SAO參數。作為另一實例,預測資訊可為包含所述當前編碼的LCU的畫面之前的畫面的經編碼的LCU的SAO參數。亦即,預測資訊獲得器12可使用可與當前LCU時間或空間相關的另一LCU以獲得SAO參數。
根據實施例的SAO參數預測器14可基於所獲得的預測資訊而預測當前編碼的LCU的SAO參數。就此而言,在解區塊得以執行之前獲得預測資訊,也因此,SAO參數的預測可獨立於解區塊的執行。
更詳細而言,SAO參數預測器14可基於所獲得的預測資訊而預測當前編碼的LCU的SAO類型、SAO類別以及偏移值。就此而言,SAO類型可根據當前LCU的像素值分類方法而指示邊緣類型或級區類型,SAO類別可根據邊緣類型指示邊緣方向或根據級區類型指示級區範圍,且偏移值可指示SAO類別中所包含的經重新建構的像素與原始像素之間的差值。
根據實施例的SAO參數預測器14可將先前編碼的LCU的SAO參數預測為當前編碼的LCU的SAO參數。
根據實施例的SAO參數預測器14可基於在當前編碼的寫碼單元的解區塊得以執行之前重新建構的像素值、留數、畫面間預測期間的運動向量、畫面內預測期間的畫面內模式等而預測SAO參數。
舉例而言,SAO參數預測器14可基於畫面間預測期間的運動向量、畫面內預測期間的畫面內模式等而將當前編碼的LCU的SAO類型預測為邊緣類型,且預測所預測的邊緣類型的SAO類別。
作為另一實例,預測資訊獲得器12可獲得未被執行解區塊的LCU的經重新建構的像素值,且SAO參數預測器14可自跳過當前編碼的LCU的解區塊的像素值預測SAO參數。
同時,根據實施例的SAO編碼裝置10可包含:解區塊執行器(未圖示),其對經重新建構的當前LCU執行解區塊;以 及SAO判定器(未圖示),其藉由使用被執行解區塊的當前LCU來判定SAO參數。此是因為由SAO判定器(未圖示)判定的當前LCU的SAO參數可用於預測待在未來編碼的LCU中的SAO。亦即,SAO編碼裝置10可藉由使用預測資訊來預測SAO參數,且將所預測的SAO參數作為當前編碼的LCU的SAO參數用信號發送。SAO編碼裝置10可判定在執行解區塊之後重新建構的LCU的SAO參數,且使用所判定的SAO參數以預測待在未來編碼的LCU中的SAO。
根據實施例的SAO編碼器16可對所預測的SAO參數執行熵編碼。
根據熵編碼方法,可將根據實施例的SAO參數分類為待以基於內文的熵寫碼為基礎而編碼的參數以及待以旁路模式編碼的參數。
基於內文的熵寫碼方法可包含一系列操作,諸如用於將諸如SAO參數的符號變換為位元串流的二進位化,以及對位元串流進行的基於內文的算術編碼。內文自適應二進位算術寫碼(context adaptive binary arithmetic coding,CABAC)廣泛用作基於內文的算術編碼方法的實例。根據基於內文的算術編碼以及解碼,符號位元串流的每一位元可視為內文的二進位,且每一位元位置可映射至二進位索引。位元串流的長度(亦即,二進位的長度)可根據符號值的大小而改變。對於基於內文的算術編碼以及 解碼,需要對符號執行基於內文的機率模型化。
假定基於先前編碼的符號而以機率方式預測當前符號的寫碼位元,則需要執行基於內文的機率模型化。對於基於內文的機率模型化,需要最近更新符號位元串流的每一位元位置(亦即,每一二進位索引)的內文。此處,機率模型化指分析在每一二進位中產生0還是1的機率的程序。可在每一區塊中重複藉由將分析新區塊的符號的每一位元的機率的結果反映至內文而更新內文的程序。若重複上述機率模型化,則可判定每一二進位與機率匹配的機率模型。
因此,關於基於內文的機率模型,可關於當前符號的二進位化位元串流的每一位元而執行選擇及輸出對應於當前內文的碼的操作,藉此執行基於內文的熵編碼。
判定符號的每一二進位的基於內文的機率模型以用於以基於內文的熵寫碼為基礎而進行編碼的操作需要大量計算以及時間。另一方面,旁路模式的熵編碼包含使用機率模型而不考慮符號的內文的熵編碼操作。
現將在下文參照圖1B來更詳細地描述根據實施例的對預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16所預測的SAO參數做編碼的方法。
在操作11中,根據實施例的預測資訊獲得器12可在視訊的LCU中的當前編碼的LCU的解區塊得以執行之前獲得預測 資訊。
根據實施例的預測資訊可包含可在解區塊得以對當前編碼的LCU執行之前獲得的資訊。舉例而言,預測資訊可包含當前編碼的寫碼單元的留數、畫面間預測期間的運動向量、畫面內預測期間的畫面內模式等。
根據實施例的預測資訊獲得器12可在解區塊得以執行之前獲得當前編碼的LCU中的先前編碼的寫碼單元的SAO參數。
在操作13中,根據實施例的SAO參數預測器14可基於所獲得的預測資訊而預測當前編碼的LCU的SAO參數。舉例而言,SAO參數預測器14可將先前編碼的LCU的SAO參數預測為當前編碼的LCU的SAO參數。
作為另一實例,SAO參數預測器14可基於在當前編碼的寫碼單元的解區塊得以執行之前重新建構的像素值、留數、畫面間預測期間的運動向量、畫面內預測期間的畫面內模式等而預測SAO參數。
在操作15中,根據實施例的SAO編碼器16可對所預測的SAO參數執行熵編碼。
根據實施例的SAO編碼裝置10可包含中央處理器(未圖示),所述中央處理器用於整體控制預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16。或者,預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16可由其個別處理器(未圖 示)驅動,所述處理器協同操作以控制SAO編碼裝置10。或者,根據實施例的SAO編碼裝置10外部的外部處理器(未圖示)可控制預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16。
根據實施例的SAO編碼裝置10可包含一或多個資料儲存器(未圖示),所述資料儲存器用於儲存預測資訊獲得器12、SAO參數預測器14以及SAO編碼器16的輸入以及輸出資料。SAO編碼裝置10可包含記憶體控制器(未圖示),所述記憶體控制器用於管理輸入至資料儲存器以及自資料儲存器輸出的資料。
為了執行視訊編碼操作(包含變換)且輸出視訊編碼操作的結果,根據實施例的SAO編碼裝置10可結合內部或外部視訊編碼處理器而操作。根據實施例的SAO編碼裝置10的內部視訊編碼處理器可為用於執行視訊編碼操作的獨立處理器。且,SAO編碼裝置10、中央處理單元或圖形處理單元可包含用於執行基本視訊編碼操作的視訊編碼處理器模組。
圖2A及圖2B分別為根據一或多個實施例的SAO解碼裝置20的方塊圖以及SAO解碼方法的流程圖。
根據實施例的SAO解碼裝置20包含SAO參數提取器22、SAO判定器24以及SAO執行器26。
根據實施例的SAO解碼裝置20接收包含視訊的經編碼的資料的位元串流。SAO解碼裝置20可自所接收的位元串流剖析經編碼的視訊樣本,可對每一影像區塊執行熵解碼、解量化、逆 變換、預測以及運動補償,以產生經重新建構的像素,也因此可產生經重新建構的影像。
根據實施例的SAO解碼裝置20可接收指示原始像素與經重新建構的像素之間的差值的偏移值,且可將原始影像與經重新建構的影像之間的誤差最小化。SAO解碼裝置20可接收影像的每一LCU的經編碼的資料,且可基於自LCU分割且具有樹狀結構的寫碼單元而重新建構LCU。現將在下文參照圖2B來詳細描述重新建構當前LCU的樣本且調整偏移的方法。
在操作21中,SAO參數提取器22可自所接收的位元串流獲得當前LCU的SAO參數。就此而言,SAO參數可包含當前LCU的SAO類型、偏移值以及SAO類別。
在操作23中,SAO判定器24可基於SAO參數提取器22所判定的SAO類型而判定當前LCU的像素值分類方法為邊緣類型還是級區類型。基於SAO類型,可判定中斷類型、邊緣類型或級區類型。
若SAO類型為中斷類型,則可判定SAO操作未應用於當前LCU。在此狀況下,無需剖析當前LCU的其他SAO參數。
SAO判定器24可基於SAO參數提取器22所判定的SAO類別而根據當前LCU的邊緣類型判定邊緣方向或根據當前LCU的級區類型而判定級區範圍。
SAO判定器24可基於SAO參數提取器22所判定的偏移 值而判定上述SAO類別中所包含的經重新建構的像素與原始像素之間的差值。
在操作25中,SAO執行器26可按照由SAO判定器24判定的差值而調整基於自當前LCU分割且具有樹狀結構的寫碼單元而重新建構的樣本的像素值。
在操作23中,SAO判定器24可基於SAO參數而判定對應於預定數目的種類的偏移值。偏移值中的每一者可大於等於預先設定的最小值,且可小於等於預先設定的最大值。
舉例而言,若SAO類型資訊指示邊緣類型,則SAO判定器24可基於SAO類別而將當前LCU中所包含的經重新建構的像素的邊緣方向判定為0°、90°、45°或135°。
若在操作23中SAO類型資訊指示級區類型,則SAO判定器24可基於SAO類別而判定經重新建構的像素的像素值所屬的級區的位置。
若在操作23中SAO類型資訊指示級區類型,則SAO判定器24可基於偏移值的零值資訊而判定偏移值是否為0。若基於零值資訊,將偏移值判定為0,則並不重新建構除零值資訊之外的偏移值的資訊。
若基於零值資訊,未將偏移值判定為0,則SAO判定器24可基於偏移值的正負號資訊而判定偏移值為正數還是負數,所述正負號資訊之後是零值資訊。SAO判定器24可藉由重新建構偏 移值的剩餘部分(其之後是正負號資訊)而最終判定偏移值。
若在操作23中SAO類型資訊指示邊緣類型,且若基於偏移值的零值資訊,未將偏移值判定為0,則SAO判定器24可藉由重新建構偏移值的剩餘部分(其之後是零值資訊)而最終判定偏移值。
同時,根據實施例的SAO解碼裝置20可包含中央處理器(未圖示),所述中央處理器用於整體控制SAO參數提取器22、SAO判定器24以及SAO執行器26。或者,SAO參數提取器22、SAO判定器24以及SAO執行器26可由其個別處理器(未圖示)驅動,所述處理器協同操作以控制視訊解碼裝置20。或者,根據實施例的SAO解碼裝置20外部的外部處理器(未圖示)可控制SAO參數提取器22、SAO判定器24以及SAO執行器26。
根據實施例的SAO解碼裝置20可包含一或多個資料儲存器(未圖示),所述資料儲存器用於儲存SAO參數提取器22、SAO判定器24以及SAO執行器26的輸入以及輸出資料。根據實施例的SAO解碼裝置20可包含記憶體控制器(未圖示),所述記憶體控制器用於管理輸入至資料儲存器以及自資料儲存器輸出的資料。
為了執行視訊解碼操作以重新建構視訊,根據實施例的SAO解碼裝置20可結合內部或外部視訊解碼處理器而操作。根據實施例的SAO解碼裝置20的內部視訊解碼處理器可為用於執行 基本視訊解碼操作的獨立處理器。且,SAO解碼裝置20、中央處理單元或圖形處理單元可包含用於執行基本視訊解碼操作的視訊解碼處理器模組。
現將參照圖3來詳細描述使用SAO操作的視訊解碼操作。圖3為根據一或多個實施例的視訊解碼裝置30的方塊圖。
視訊解碼裝置30包含熵解碼器31、解量化器32、逆變換器33、重新建構器34、畫面內預測器35、參考圖像緩衝器36、運動補償器37、解區塊濾波器38以及SAO執行器39。
視訊解碼裝置30可接收包含經編碼的視訊資料的位元串流。熵解碼器31可自位元串流剖析畫面內模式資訊、畫面間模式資訊、SAO資訊以及留數(residue)。
由熵解碼器31提取的留數可為經量化的變換係數。因此,解量化器32可對留數執行解量化以重新建構變換係數,且逆變換器33可對經重新建構的經重新建構的係數執行逆變換,以重新建構空間域的殘餘值。
為了預測且重新建構空間域的殘餘值,可執行畫面內預測或運動補償。
若畫面內模式資訊由熵解碼器31提取,則畫面內預測器35可藉由使用畫面內模式資訊而判定待參考以自空間上鄰近於當前樣本的樣本重新建構當前樣本的參考樣本。可自先前由重新建構器34重新建構的樣本選擇參考樣本。重新建構器34可藉由使 用基於由逆變換器33重新建構的畫面內模式資訊以及殘餘值而判定的參考樣本來重新建構當前樣本。
若畫面間模式資訊由熵解碼器31提取,則運動補償器37可藉由使用畫面間模式資訊而判定待參考以自當前圖像之前重新建構的圖像重新建構當前圖像的當前樣本的參考圖像。畫面間模式資訊可包含運動向量、參考索引等。藉由使用參考索引,自當前圖像之前重新建構且儲存於參考圖像緩衝器36中的圖像,可判定待用於對當前樣本執行運動補償的參考圖像。藉由使用運動向量,可判定待用於對當前區塊執行運動補償的參考圖像的參考區塊。重新建構器34可藉由使用基於由逆變換器33重新建構的畫面間模式資訊以及殘餘值而判定的參考區塊來重新建構當前樣本。
重新建構器34可重新建構樣本,且可輸出經重新建構的像素。重新建構器34可基於具有樹狀結構的寫碼單元而產生LCU中的每一者的經重新建構的像素。
解區塊濾波器38可執行濾波,以減少安置在LCU或具有樹狀結構的寫碼單元中的每一者的邊緣區域處的像素的結塊現象(b1ocking phenomenon)。
且,SAO執行器39可根據SAO操作而調整每一LCU的經重新建構的像素的偏移。SAO執行器39可基於由熵解碼器31提取的SAO資訊而判定當前LCU的SAO類型、SAO類別以及偏 移值。
由熵解碼器31進行的提取SAO資訊的操作可對應於視訊解碼裝置20的SAO參數提取器22的操作,且SAO執行器39的操作可對應於視訊解碼裝置20的SAO判定器24以及SAO執行器26的操作。
SAO執行器39可基於自SAO資訊判定的偏移值,關於當前LCU的經重新建構的像素,而判定偏移值的正負號以及差值。SAO執行器39可藉由按照基於偏移值而判定的差值來增大或減小經重新建構的像素的像素值,而減小經重新建構的像素與原始像素之間的誤差。
包含由SAO執行器39偏移調整的經重新建構的像素的圖像可儲存於參考圖像緩衝器36中。因此,藉由使用根據SAO操作而在經重新建構的樣本與原始像素之間具有最小化的誤差的參考圖像,可對下一圖像執行運動補償。
根據SAO操作,基於經重新建構的像素與原始像素之間的差值,可判定包含經重新建構的像素的像素群組的偏移。針對SAO操作,現將詳細描述用於將經重新建構的像素分類為像素群組的實施例。
根據SAO操作,可基於(i)經重新建構的像素的邊緣類型或(ii)經重新建構的像素的級區類型來對像素分類。可藉由使用SAO類型來定義是基於邊緣類型還是級區類型來對像素分類。
現將詳細描述根據SAO操作基於邊緣類型來對像素分類的實施例。
在判定當前LCU的邊緣類型偏移時,可判定當前LCU中所包含的經重新建構的像素中的每一者的邊緣類別。亦即,藉由比較當前的經重新建構的像素與鄰近像素之間的像素值,可定義當前的經重新建構的像素的邊緣類別。現將參照圖4來描述判定邊緣類別的實例。
圖4為展示根據一或多個實施例的邊緣類型的邊緣類別的表格。
可依序將索引0、1、2及3分配給邊緣類別41、42、43及44。若邊緣類型頻繁出現,則可將小的索引分配給邊緣類型。
邊緣類別可指示當前的經重新建構的像素X0與兩個鄰近像素之間形成的1維邊緣的方向。具有索引0的邊緣類別41指示在邊緣形成於當前的經重新建構的像素X0與兩個水平鄰近的像素X1及X2之間時的狀況。具有索引1的邊緣類別42指示在邊緣形成於當前的經重新建構的像素X0與兩個垂直鄰近的像素X3及X4之間時的狀況。具有索引2的邊緣類別43指示在邊緣形成於當前的經重新建構的像素X0與兩個135°對角線鄰近的像素X5及X8之間時的狀況。具有索引3的邊緣類別44指示在邊緣形成於當前的經重新建構的像素X0與兩個45°對角線鄰近的像素X6及X7之間時的狀況。
因此,藉由分析當前LCU中所包含的經重新建構的像素的邊緣方向也因此判定當前LCU中的強邊方向,可判定當前LCU的邊緣類別。
關於每一邊緣類別,可根據當前像素的邊緣形狀而對種類分類。現將參照圖5A及圖5B來描述根據邊緣形狀的種類的實例。
圖5A及圖5B為展示根據一或多個實施例的邊緣類型的種類的表格及圖表。
邊緣類別指示當前像素對應於凹入邊緣的最低點、安置於凹入邊緣的最低點周圍的彎曲角落處的像素、凸出邊緣的最高點還是安置於凸出邊緣的最高點周圍的彎曲角落處的像素。
圖5A例示性地展示用於判定邊緣的種類的條件。圖5B例示性地展示經重新建構的像素與鄰近像素之間的邊緣形狀,及所述像素的像素值c、a以及b。
c指示當前的經重新建構的像素的索引,且a以及b指示根據邊緣方向在當前的經重新建構的像素的兩側的鄰近像素的索引。Xa、Xb以及Xc分別指示具有索引a、b以及c的經重新建構的像素的像素值。在圖5B中,x軸指示當前的經重新建構的像素以及當前的經重新建構的像素的兩側的鄰近像素的索引,且y軸指示樣本的像素值。
種類1指示在當前樣本對應於凹入邊緣的最低點(亦即, 局部凹部)時的狀況。如圖表51(Xc<Xa && Xc<Xb)所示,若鄰近像素a與b之間的當前的經重新建構的像素c對應於凹入邊緣的最低點,則當前的經重新建構的像素可分類為種類1。
種類2指示在當前樣本安置於凹入邊緣的最低點周圍的彎曲角落(亦即,凹入角落)處時的狀況。如圖表52(Xc<Xa && Xc==Xb)所示,若鄰近像素a與b之間的當前的經重新建構的像素c安置於凹入邊緣的向下曲線的結束點處,或如圖表53(Xc==Xa && Xc<Xb)所示,若當前的經重新建構的像素c安置於凹入邊緣的向上曲線的開始位置處,則當前的經重新建構的像素可分類為種類2。
種類3指示在當前樣本安置於凸出邊緣的最高點周圍的彎曲角落(亦即,凸出角落)處時的狀況。如圖表54(Xc>Xb && Xc==Xa)所示,若鄰近像素a與b之間的當前的經重新建構的像素c安置於凸出邊緣的向下曲線的開始位置處,或如圖表55(Xc==Xb && Xc>Xa)所示,若當前的經重新建構的像素c安置於凸出邊緣的向上曲線的結束點處,則當前的經重新建構的像素可分類為種類3。
種類4指示在當前樣本對應於凸出邊緣的最高點(亦即,局部凸部)時的狀況。如圖表56(Xc>Xa && Xc>Xb)所示,若鄰近像素a與b之間的當前的經重新建構的像素c對應於凸出邊緣的最高點,則當前的經重新建構的像素可分類為種類1。
若當前的經重新建構的像素並不滿足種類1、2、3以及4的條件中的任一者,則當前的經重新建構的像素並不對應於邊緣,也因此分類為種類0,且種類0的偏移無需編碼。
根據一或多個實施例,關於對應於同一種類的經重新建構的像素,可將經重新建構的像素與原始像素之間的差值的平均值判定為當前種類的偏移。且,可判定所有種類的偏移。
若藉由使用正偏移值來調整經重新建構的像素值,則可將種類1及2的凹入邊緣平滑化,且可由於負偏移值而將所述凹入邊緣銳化。可由於負偏移值而將種類3及4的凸出邊緣平滑化,且可由於正偏移值而將所述凸出邊緣銳化。
根據實施例的SAO編碼裝置10可並不允許對邊緣的銳化效應。此處,種類1及2的凹入邊緣需要正偏移值,且種類3及4的凸出邊緣需要負偏移值。在此狀況下,若邊緣的種類是已知的,則可判定偏移值的正負號。因此,SAO編碼裝置10可並不傳輸偏移值的正負號,且可僅傳輸偏移值的絕對值。且,SAO解碼裝置20可並不接收偏移值的正負號,且可僅接收偏移值的絕對值。
因此,SAO編碼裝置10可對根據當前邊緣類別的種類的偏移值做編碼並進行傳輸,且SAO解碼裝置20可按照所接收的偏移值而調整所述種類的經重新建構的像素。
舉例而言,若將邊緣類型的偏移值判定為0,則SAO編 碼裝置10可僅將零值資訊作為偏移值傳輸。
舉例而言,若邊緣類型的偏移值並非0,則SAO編碼裝置10可將零值資訊以及絕對值作為偏移值傳輸。並不需要傳輸偏移值的正負號。
SAO解碼裝置20自所接收的偏移值讀取零值資訊,且若偏移值並非0,則可讀取偏移值的絕對值。可基於經重新建構的像素與鄰近像素之間的邊緣形狀,根據邊緣種類來預測偏移值的正負號。
因此,根據實施例的SAO編碼裝置10可根據邊緣方向以及邊緣形狀而對像素分類,可將具有相同特性的像素之間的平均誤差值判定為偏移值,且可判定根據種類的偏移值。SAO編碼裝置10可對指示邊緣類型的SAO類型資訊、指示邊緣方向的SAO類別資訊以及偏移值做編碼且進行傳輸。
根據實施例的SAO解碼裝置20可接收SAO類型資訊、SAO類別資訊以及偏移值,且可根據SAO類型資訊以及SAO類別資訊而判定邊緣方向。SAO解碼裝置20可根據邊緣方向而判定對應於邊緣形狀的種類的經重新建構的像素的偏移值,且可按照偏移值來調整經重新建構的像素的像素值,藉此使原始影像與經重新建構的影像之間的誤差最小化。
現將詳細描述根據SAO操作基於級區類型來對像素分類的實施例。
根據一或多個實施例,經重新建構的像素的像素值中的每一者可屬於多個級區中的一者。舉例而言,像素值可根據p位元取樣而具有自最小值Min至最大值Max的總範圍,其中Min為0且Max為2^(p-1)。若將像素值的總範圍(Min,Max)劃分為K個間隔,則可將像素值的每一間隔稱為級區。若Bk指示第k級區的最大值,則可劃分級區[B0,B1-1]、[B1,B2-1]、[B2,B3-1]、......、以及[Bk-1,Bk]。若當前的經重新建構的像素Rec(x,y)的像素值屬於級區[Bk-1,Bk],則可將當前級區判定為k。可均勻地或非均勻地劃分所述級區。
舉例而言,若將像素值分類為相等的8位元像素級區,則可將像素值劃分為32個級區。更詳細而言,可將像素值分類為級區[0,7]、[8,15]、......、[240,247]以及[248,255]。
自根據級區類型而分類的多個級區,可判定經重新建構的像素的像素值中的每一者所屬的級區。且,可判定指示每一級區中的原始像素與經重新建構的像素之間的誤差的平均值的偏移值。
因此,SAO編碼裝置10以及SAO解碼裝置20可對對應於根據當前級區類型而分類的級區中的每一者的偏移做編碼且進行收發,且可按照所述偏移來調整經重新建構的像素。
因此,關於級區類型,根據實施例的SAO編碼裝置10以及SAO解碼裝置20可根據經重新建構的像素的像素值所屬的 級區來對經重新建構的像素分類,可按照屬於同一級區的經重新建構的像素的誤差值的平均值來判定偏移,且可按照所述偏移來調整經重新建構的像素,藉此使原始影像與經重新建構的影像之間的誤差最小化。
在根據級區類型來判定偏移時,根據實施例的SAO編碼裝置10以及SAO解碼裝置20可根據級區位置而將經重新建構的像素分類為多個種類。舉例而言,若將像素值的總範圍劃分為K個級區,則可根據指示第k級區的級區索引k來對種類編索引。可將種類的數目判定為對應於級區的數目。
然而,為了減少資料的量,SAO編碼裝置10以及SAO解碼裝置20可限制用於根據SAO操作來判定偏移的種類的數目。舉例而言,可將在級區索引增大的方向上自具有預定開始位置的級區開始的連續的預定數目的級區作為種類來分配,且可僅判定每一種類的偏移。
舉例而言,若將具有索引12的級區判定為開始級區,則可將自開始級區開始的四個級區(亦即,具有索引12、13、14以及15的級區)作為種類1、2、3以及4來分配。因此,可將具有索引12的級區中所包含的經重新建構的像素與原始像素之間的平均誤差判定為種類1的偏移。同樣,可將具有索引13的級區中所包含的經重新建構的像素與原始像素之間的平均誤差判定為種類2的偏移,可將具有索引14的級區中所包含的經重新建構的像素 與原始像素之間的平均誤差判定為種類3的偏移,且可將具有索引15的級區中所包含的經重新建構的像素與原始像素之間的平均誤差判定為種類4的偏移。
在此狀況下,需要關於級區範圍開始位置(亦即,左側級區位置)的資訊,以判定作為種類分配的級區的位置。因此,根據實施例的SAO編碼裝置10可將關於開始級區位置的資訊作為SAO類別來編碼且進行傳輸。SAO編碼裝置10可對指示級區類型的SAO類型、SAO類別以及根據種類的偏移值做編碼且進行傳輸。
根據實施例的SAO解碼裝置20可接收SAO類型、SAO類別以及根據種類的偏移值。若所接收的SAO類型為級區類型,則SAO解碼裝置20可自SAO類別讀取開始級區位置。SAO解碼裝置20可自始於開始級區的四個級區判定經重新建構的像素所屬的級區,可自根據種類的偏移值判定分配給當前級區的偏移值,且可按照所述偏移值來調整經重新建構的像素的像素值。
上文中,將邊緣類型以及級區類型作為SAO類型介紹,且詳細描述了根據SAO類型的SAO類別以及種類。
現將詳細描述由SAO編碼裝置10以及SAO解碼裝置20編碼且收發的SAO參數。
根據實施例的SAO編碼裝置10以及SAO解碼裝置20可根據每一LCU的經重新建構的像素的像素分類方法來判定SAO 類型。
可根據每一區塊的影像特性來判定SAO類型。舉例而言,關於包含垂直邊緣、水平邊緣以及對角線邊緣的LCU,為了改變邊緣值,可藉由根據邊緣類型來對像素值分類而判定偏移值。關於不包含邊緣區域的LCU,可根據級區分類來判定偏移值。因此,SAO編碼裝置10以及SAO解碼裝置20可關於LCU中的每一者用信號發送SAO類型。
根據實施例的SAO編碼裝置10以及SAO解碼裝置20可關於每一LCU來判定SAO參數。亦即,可判定LCU的經重新建構的像素的SAO類型,可將LCU的經重新建構的像素分類為多個種類,且可根據種類來判定偏移值。
自LCU中所包含的經重新建構的像素,SAO編碼裝置10可將分類為同一種類的經重新建構的像素的平均誤差判定為偏移值。可判定每一種類的偏移值。
根據一或多個實施例,SAO參數可包含SAO類型、偏移值以及SAO類別。SAO編碼裝置10以及SAO解碼裝置20可收發關於每一LCU而判定的SAO參數。
自LCU的SAO參數,根據實施例的SAO編碼裝置10可對SAO類型以及偏移值做編碼且進行傳輸。若SAO類型為邊緣類型,則根據實施例的SAO編碼裝置10可進一步傳輸指示邊緣方向的SAO類別,所述SAO類別之後是SAO類型以及根據種 類的偏移值。若SAO類型為級區類型,則根據實施例的SAO編碼裝置10可進一步傳輸指示開始級區位置的SAO類別,所述SAO類別之後是SAO類型以及根據種類的偏移值。若SAO類型為邊緣類型,則SAO類別可分類為邊緣類別資訊。若SAO類型為級區類型,則SAO類別可分類為級區位置資訊。
根據實施例的SAO解碼裝置20可接收每一LCU的SAO參數,所述SAO參數包含SAO類型、偏移值以及SAO類別。且,根據實施例的SAO解碼裝置20可自根據種類的偏移值選擇每一經重新建構的像素所屬的種類的偏移值,且可按照所選擇的偏移值來調整經重新建構的像素。
現將描述用信號發送SAO參數中的偏移值的實施例。
為了傳輸偏移值,根據實施例的SAO編碼裝置10可進一步傳輸正負號資訊以及剩餘部分偏移絕對值。
若偏移絕對值為0,則無需對正負號資訊或剩餘部分做編碼。然而,若偏移絕對值不是0,則可進一步傳輸正負號資訊以及剩餘部分。
然而,如上所述,關於邊緣類型,因為可根據種類而按照正數或負數來預測偏移值,所以無需傳輸正負號資訊。
根據一或多個實施例,在判定偏移值Off-set之前,可預先將偏移值限制於自最小值MinOffSet至最大值MaxOffSet的範圍內(MinOffSetOff-SetMaxOffSet)。
舉例而言,關於邊緣類型,可將種類1及2的經重新建構的像素的偏移值判定為處於自最小值0至最大值7的範圍內。關於邊緣類型,可將種類3及4的經重新建構的像素的偏移值判定為處於自最小值-7至最大值0的範圍內。
舉例而言,關於級區類型,可將所有種類的經重新建構的像素的偏移值判定為處於自最小值-7至最大值7的範圍內。
為了減少偏移值的傳輸位元,可將剩餘部分限制為p位元值而不是負數。在此狀況下,剩餘部分可大於等於0,且可小於等於最大值與最小值之間的差值(0剩餘部分MaxOffSet-MinOffSet+12^p)。若SAO編碼裝置10傳輸剩餘部分,且SAO解碼裝置20知曉偏移值的最大值以及最小值中的至少一者,則可藉由僅使用所接收的剩餘部分來重新建構原始偏移值。
圖6A至圖6C為用於解釋根據實施例的對SAO參數做編碼的方法的圖式。圖6A至圖6C說明以硬體實施根據實施例的視訊編碼方法且以管線形狀處理視訊編碼方法的實例。就此而言,以硬體實施視訊編碼方法的方法可包含超大型積體電路(very large scale integration,VLSI)實施方法或多核心實施方法,但未必限於此。
參照圖6A至圖6C、圖7及圖10,說明分類為t、t+1及t+2的管線級以及由參考數字61、62及63指示的編碼級。就此而言,分類為t、t+1及t+2的管線級指示在以硬體實施編碼裝置時 的時間上依序處理的操作,且由參考數字61、62及63指示的編碼級指示根據實施例的編碼方法的預定操作。箭頭指示資料相依性。區塊指示每一級的必要資料。
圖6A說明未應用SAO的視訊編碼方法。圖6B說明應用了SAO的視訊編碼方法。
參照圖6A,級61可藉由對變換係數64執行解量化以及逆變換來獲得當前編碼的LCU的經重新建構的資料66。在級61之前,可進一步執行畫面內預測及畫面間預測、留數的產生、變換與量化等。為便於解釋,關於圖6A、圖6B及圖6C,假設預先執行此處理。同時,在經重新建構的資料66得以獲得之前,級61可含有語法元素65。就此而言,語法元素65在解碼裝置稍後接收位元串流時是必要的,但不包含SAO參數。接著,級62可藉由執行熵編碼來產生位元串流67。級63可對經重新建構的資料66執行解區塊,且產生被執行解區塊的經重新建構的資料68。
圖6A的編碼方法相關於未應用SAO的狀況,且不具有對級62與63之間的所得值的資料相關性。因此,當以硬體實施編碼方法時,可在同一管線級(t+1及t+2)中同時執行級62及63。
另一方面,圖6B的編碼方法相關於應用了SAO的狀況,也因此可不在同一管線級中同時對執行解區塊的級63以及執行熵編碼的級62進行執行,且可延遲管線級的處理,直至執行解區塊 的級63獲得SAO參數69為止。亦即,圖6B的編碼方法進一步執行關於被執行解區塊的經重新建構的資料68來判定SAO參數69的操作,也因此取決於SAO參數69的級62的處理被延遲。因此,將用於執行熵編碼的語法元素65傳送至級62的額外級60以及儲存空間是必要的,此可導致電路大小以及電力消耗的增大。
因此,根據實施例的SAO編碼裝置10可藉由使用動態影像內的時間及空間相關,基於在當前LCU的解區塊濾波之前獲得的資料來預測SAO參數,藉此改良由於SAO編碼引起的電路區域以及電力消耗。當以硬體實施SAO編碼裝置10時,可在熵編碼期間移除解區塊與SAO的判定之間的資料相依性,藉此減小經緩衝的資料以及電力消耗的量。
參照圖6C,當級62執行熵編碼時,根據實施例的SAO編碼裝置10可不使用基於被執行解區塊的經重新建構的資料68來判定的SAO參數69。
因此,可在同一管線級(例如,t1~t2)中並行執行對當前LCU執行解區塊的操作以及對SAO參數做編碼的操作。亦即,與圖6B相比,在圖6C中,可減少一個管線級。
現將在下文參照圖7至圖10來更詳細地描述移除基於被執行解區塊的經重新建構的資料68來判定的SAO參數69的相依性的方法。
圖7為用於解釋根據實施例的對SAO參數做編碼的方法 的圖式。
參照圖7,根據實施例的SAO編碼裝置10可自先前編碼的LCU 71預測當前編碼的LCU 70的SAO參數73並對SAO參數73做編碼。舉例而言,SAO編碼裝置10可將先前判定的SAO參數73作為當前編碼的LCU 70的SAO參數來編碼,可不等到完成解區塊為止,且可關於SAO參數以及LCU #n-1語法74而產生位元串流72。
此外,SAO編碼裝置10可對寫碼單元70的經重新建構的資料75執行解區塊,且可自被執行解區塊的經重新建構的資料76判定SAO參數77。在寫碼單元70中判定的SAO參數77可用作將接著編碼的LCU的SAO參數。
雖然在圖7中緊接在熵編碼之前在管線級中對寫碼單元70以及先前編碼的LCU 71做編碼,但例示性實施例不限於此。可使用當前編碼的LCU的空間上以及時間上先前編碼的LCU #n-1、n-2、n-3、......的SAO參數。
圖8說明根據實施例的對SAO參數做編碼的方法的實例。
參照圖8,當前編碼的LCU 80可藉由使用同一畫面內的先前編碼的LCU 81的SAO參數來對當前編碼的LCU 80的SAO執行熵編碼。
圖9說明根據實施例的對SAO參數做編碼的方法的另一 實例。
參照圖9,當前編碼的LCU 82可藉由使用包含當前LCU的畫面之前的畫面中編碼的LCU 83的SAO參數來對當前編碼的LCU 82的SAO執行熵編碼。
圖10說明根據實施例的對SAO參數做編碼的方法的另一實例。
參照圖10,根據實施例的SAO編碼裝置10可基於在對當前編碼的寫碼單元執行解區塊的管線級(t+2~t+3)之前獲得的預測資訊而在SAO級85中預測SAO參數88。SAO編碼裝置10可對所預測的SAO參數88執行熵編碼且產生位元串流89。就此而言,級84(t~t+1)可判定預定預測參數87且自預定預測單元獲得留數86並處理留數86。預測參數87可包含畫面間預測期間的運動向量以及畫面內預測期間的畫面內模式。
舉例而言,SAO編碼裝置10可基於畫面間預測期間的運動向量以及畫面內預測期間的畫面內模式而將當前LCU的SAO類型預測為邊緣類型,且預測所預測的邊緣類型的SAO類別。
作為另一實例,SAO編碼裝置10可自留數86預測量化誤差,且預測SAO參數。
根據上述實施例,根據實施例的SAO編碼裝置10可藉由使用動態影像內的時間及空間相關,基於在對當前LCU執行解區塊濾波之前獲得的預測資訊而預測SAO參數。因此,在解區塊 與SAO參數的預測之間不存在資料相依性,藉此減小經緩衝的資料以及電力消耗的量。
圖11A及圖11B分別為根據一或多個實施例的SAO編碼裝置90的方塊圖以及對邊緣類型的SAO參數做編碼的方法的流程圖。
參照圖11A,SAO編碼裝置90可包含方向性資訊獲得器92、邊緣偏移參數判定器94以及SAO編碼器96。
根據實施例的SAO編碼裝置90接收影像(諸如,視訊的片段)的輸入,將每一影像分割為區塊,且對每一區塊做編碼。區塊可具有正方形形狀、矩形形狀或任意幾何形狀且不限於具有預定大小的資料單元。根據一或多個實施例的區塊可為根據樹狀結構的寫碼單元中的LCU或寫碼單元。下文將參照圖15至圖34來描述基於根據樹狀結構的寫碼單元的視訊編碼以及解碼方法。
根據實施例的SAO編碼裝置90可將每一輸入影像分割為LCU,且可將藉由對每一LCU的樣本執行預測、變換以及熵編碼而產生的所得資料作為位元串流輸出。LCU的樣本可為LCU中所包含的像素的像素值資料。
根據實施例的SAO編碼裝置90可對影像的LCU個別地做編碼。SAO編碼裝置90可基於自當前LCU分割且具有樹狀結構的寫碼單元來對當前LCU做編碼。
為了對當前LCU做編碼,SAO編碼裝置90可藉由對當 前LCU中所包含且具有樹狀結構的寫碼單元中的每一者執行畫面內預測、畫面間預測、變換以及量化,而對樣本做編碼。
接著,SAO編碼裝置90可藉由對具有樹狀結構的寫碼單元中的每一者執行解量化、逆變換以及畫面間預測或畫面內補償以便對寫碼單元做解碼,而重新建構當前LCU中所包含的經編碼的樣本。
SAO編碼裝置90亦可對LCU中的經重新建構的樣本執行解區塊,以便減小區塊邊界中的影像惡化,且將SAO應用於被執行解區塊的LCU以便使原始像素與經重新建構的像素之間的誤差最小化。已參照圖3至圖5提供應用SAO的方法的詳細描述,也因此此處將省略所述詳細描述。
SAO編碼裝置90需要判定包含SAO類型、SAO類別以及偏移值的SAO參數以便應用SAO。就此而言,SAO類型可根據當前LCU的像素值分類方法而指示邊緣類型或級區類型,SAO類別可根據邊緣類型指示邊緣方向或根據級區類型指示級區範圍,且偏移值可指示SAO類別中所包含的經重新建構的像素與原始像素之間的差值。
同時,當將SAO類型判定為邊緣類型時,將根據邊緣方向的邊緣類別判定為0°、90°、45°及135°中的一者。然而,需要藉由關於上述四個邊緣類別而將SAO應用於LCU中所包含的所有像素來計算位元率-失真(RD)成本以便判定邊緣類別。亦即, SAO編碼裝置90需要計算所有像素的邊緣偏移值,此使電路的實施複雜化,也因此邏輯閘或電路大小以及電力消耗可增大。
因此,根據實施例的SAO編碼裝置90可獲得當前編碼的LCU的方向性資訊,且基於方向性資訊來判定邊緣偏移參數。
現將參照圖11B來詳細描述SAO編碼裝置90的詳細描述。
在操作91中,根據實施例的方向性資訊獲得器92可獲得視訊的LCU中的當前編碼的LCU的方向性資訊。就此而言,所獲得的邊緣方向可為0°、90°、45°及135°中的一者。
根據實施例的方向性資訊獲得器92可藉由使用邊緣偵測演算法來獲得當前編碼的LCU的邊緣的方向性資訊。舉例而言,方向性資訊獲得器92可藉由使用諸如索貝爾(Sobel)演算法的邊緣偵測演算法來偵測LCU的邊緣。方向性資訊獲得器92可逼近(approximate)所偵測的邊緣的方向,且將所述方向判定為0°、90°、45°及135°中的一者。
根據實施例的方向性資訊獲得器92可藉由使用當前編碼的LCU的畫面內模式資訊來獲得方向性資訊。同時,LCU可包含多個預測單元且具有至少一個畫面內模式。在此狀況下,方向性資訊獲得器92可計算關於LCU中所包含的多個畫面內模式的直方圖,且基於所述直方圖來獲得預定畫面內模式作為方向性資訊。作為另一實例,方向性資訊獲得器92可根據LCU中的畫面 內模式的出現次數而獲得方向性資訊。
根據實施例的方向性資訊獲得器92可基於當前編碼的LCU的運動向量而獲得方向性資訊。同時,LCU可包含多個預測單元且具有至少一個運動向量。在此狀況下,方向性資訊獲得器92可計算關於LCU中所包含的運動向量的直方圖,且基於所述直方圖來獲得方向性資訊。作為另一實例,方向性資訊獲得器92可根據LCU中的運動向量的大小而獲得方向性資訊。方向性資訊獲得器92可逼近所偵測的運動向量的方向,且將所述方向判定為0°、90°、45°及135°中的一者。
在操作93中,根據實施例的邊緣偏移參數判定器94可基於所獲得的方向性資訊而判定當前編碼的LCU的邊緣偏移參數。就此而言,所判定的邊緣偏移參數可為上文參照圖4所述的邊緣類別。
舉例而言,邊緣偏移參數判定器94可將具有同一方向的邊緣類別判定為所獲得的方向。亦即,當所獲得的方向性資訊為0°時,邊緣偏移參數判定器94可將水平方向判定為邊緣類別。
作為另一實例,邊緣偏移參數判定器94可由於邊緣偵測而判定方向性正交於所獲得的方向的邊緣類別。亦即,當所獲得的方向性資訊為0°時,邊緣偏移參數判定器94可將垂直方向判定為邊緣類別。
在操作95中,根據實施例的SAO編碼器96可對邊緣偏 移參數執行熵編碼。舉例而言,SAO編碼器96可對邊緣偏移參數判定器94所判定的邊緣類別執行熵編碼。
根據實施例的SAO編碼裝置90可基於由邊緣偏移參數判定器94判定的邊緣類別來判定SAO操作值,且執行SAO操作。
根據實施例的SAO編碼裝置90可包含中央處理器(未圖示),所述中央處理器用於整體控制方向性資訊獲得器92、邊緣偏移參數判定器94以及SAO編碼器96。或者,方向性資訊獲得器92、邊緣偏移參數判定器94以及SAO編碼器96可由其個別處理器(未圖示)驅動,所述處理器協同操作以控制SAO編碼裝置90。或者,根據實施例的SAO編碼裝置90外部的外部處理器(未圖示)可控制方向性資訊獲得器92、邊緣偏移參數判定器94以及SAO編碼器96。
根據實施例的SAO編碼裝置90可包含一或多個資料儲存器(未圖示),所述資料儲存器用於儲存方向性資訊獲得器92、邊緣偏移參數判定器94以及SAO編碼器96的輸入以及輸出資料。SAO編碼裝置90可包含記憶體控制器(未圖示),所述記憶體控制器用於管理輸入至資料儲存器以及自資料儲存器輸出的資料。
為了執行視訊編碼操作(包含變換)且輸出視訊編碼操作的結果,根據實施例的SAO編碼裝置90可結合內部或外部視訊編碼處理器而操作。根據實施例的SAO編碼裝置90的內部視 訊編碼處理器可為用於執行視訊編碼操作的獨立處理器。且,SAO編碼裝置90、中央處理單元或圖形處理單元可包含用於執行基本視訊編碼操作的視訊編碼處理器模組。
現將參照圖12至圖14來詳細描述基於LCU的方向性資訊而判定邊緣偏移參數的方法。
圖12為用於解釋根據實施例的對邊緣類型的SAO參數做編碼的方法的實例的圖式。
參照圖12,方向性資訊獲得器92可藉由使用邊緣偵測演算法來獲得當前編碼的LCU的邊緣的方向性資訊。就此而言,方向性資訊獲得器92可藉由使用諸如索貝爾演算法的邊緣偵測演算法來偵測LCU的邊緣1201。方向性資訊獲得器92可逼近所偵測的邊緣1201的方向,且將所述方向判定為0°、90°、45°及135°中的一者。舉例而言,所偵測的邊緣1201可具有方向性135°。
根據實施例的邊緣偏移參數判定器94可基於所獲得的方向性資訊而判定當前編碼的LCU的邊緣類別。舉例而言,邊緣偏移參數判定器94可自圖12的四個偏移類別選擇方向性與邊緣1201的方向相同的邊緣類別1202。作為另一實例,邊緣偏移參數判定器94可自圖12的四個偏移類別選擇方向性與邊緣1201的方向正交的邊緣類別1203。
圖13為用於解釋根據實施例的對邊緣類型的SAO參數做編碼的方法的另一實例的圖式。
參照圖13,方向性資訊獲得器92可藉由使用當前編碼的LCU的畫面內模式資訊來獲得方向性資訊。亦即,方向性資訊獲得器92可基於先前判定的表1205而按照四個方向來逼近寫碼單元的35個畫面內模式。舉例而言,當自當前編碼的LCU獲得8個畫面內模式時,方向性資訊獲得器92可基於表1205來判定LCU具有在水平方向上的方向性。
同時,LCU可包含多個預測單元且具有至少一個畫面內模式。在此狀況下,方向性資訊獲得器92可計算關於LCU中所包含的畫面內模式的直方圖,且基於所述直方圖來獲得預定畫面內模式作為方向性資訊。作為另一實例,方向性資訊獲得器92可根據LCU中的畫面內模式的出現次數而獲得方向性資訊。
根據實施例的邊緣偏移參數判定器94可基於所獲得的方向性資訊而判定當前編碼的LCU的邊緣類別。舉例而言,邊緣偏移參數判定器94可自圖13的四個偏移類別選擇方向性與所獲得的方向1204相同的邊緣類別1206。作為另一實例,邊緣偏移參數判定器94可自圖13的四個偏移類別選擇方向性與所獲得的方向1204正交的邊緣類別1207。
圖14為用於解釋根據實施例的對邊緣類型的SAO參數做編碼的方法的另一實例的圖式。
參照圖14,方向性資訊獲得器92可藉由使用當前編碼的LCU的運動向量1208來獲得方向性資訊。就此而言,方向性資訊 獲得器92可逼近運動向量1208的方向,且將所述方向判定為0°、90°、45°及135°中的一者。舉例而言,可將圖14的運動向量1208的方向判定為0°。
同時,LCU可包含多個預測單元且具有至少一個運動向量。在此狀況下,方向性資訊獲得器92可計算關於LCU中所包含的運動向量的直方圖,且基於所述直方圖來獲得方向性資訊。作為另一實例,方向性資訊獲得器92可根據LCU中的運動向量的大小而獲得方向性資訊。
根據實施例的邊緣偏移參數判定器94可基於所獲得的方向性資訊而判定當前編碼的LCU的邊緣類別。舉例而言,邊緣偏移參數判定器94可自圖14的四個偏移類別選擇方向性與運動向量1208的方向相同的邊緣類別1209。作為另一實例,邊緣偏移參數判定器94可自圖14的四個偏移類別選擇方向性與運動向量1208的方向正交的邊緣類別1210。
另一方面,如上所述,SAO編碼裝置90提供基於LCU中所獲得的方向性資訊來判定邊緣類別的方法,藉此改良電路的實施以及電力消耗的低效。
在SAO編碼裝置10以及SAO解碼裝置20中,如上所述,可將視訊資料分割為LCU,可基於具有樹狀結構的寫碼單元來對每一LCU做編碼以及解碼,且每一LCU可根據像素分類來判定偏移值。下文中,將參照圖15至圖34來描述根據各種實施 例的在基於具有樹狀結構的寫碼單元的視訊編碼方法以及視訊解碼方法中使用根據像素分類的SAO操作的實施例。
圖15為根據一或多個實施例的基於根據樹狀結構的寫碼單元的視訊編碼裝置100的方塊圖。
涉及基於根據樹狀結構的寫碼單元的視訊預測的視訊編碼裝置100包含LCU分割器110、寫碼單元判定器120以及輸出器130。
LCU分割器110可基於LCU來分割當前圖像,LCU為影像的當前圖像的最大大小的寫碼單元。若當前圖像大於LCU,則當前圖像的影像資料可分割為至少一個LCU。根據一或多個實施例的LCU可為大小為32×32、64×64、128×128、256×256等的資料單元,其中資料單元的形狀是寬度以及長度為2的平方的正方形。影像資料可根據至少一個LCU而輸出至寫碼單元判定器120。
根據一或多個實施例的寫碼單元可藉由最大大小以及深度來表徵。深度表示寫碼單元自LCU在空間上分割的次數,且隨著深度增大,根據深度的較深寫碼單元可自LCU分割為最小寫碼單元(SCU)。LCU的深度為最上層深度,且SCU的深度為最下層深度。因為對應於每一深度的寫碼單元的大小隨著LCU的深度增大而減小,所以對應於較上層深度的寫碼單元可包含對應於較下層深度的多個寫碼單元。
如上所述,當前圖像的影像資料根據寫碼單元的最大大 小而分割為LCU,且LCU中的每一者可包含根據深度而分割的較深寫碼單元。因為根據一或多個實施例的LCU是根據深度來分割,所以LCU中所包含的空間域的影像資料可根據深度而階層式分類。
限制LCU的高度以及寬度階層式分割的總次數的寫碼單元的最大深度以及最大大小可為預定的。
寫碼單元判定器120對藉由根據深度來分割LCU的區域而獲得的至少一個分割區域做編碼,且判定深度以根據所述至少一個分割區域來輸出最終編碼的影像資料。換言之,寫碼單元判定器120藉由根據當前圖像的LCU來對根據深度的較深寫碼單元中的影像資料做編碼以及選擇具有最小編碼誤差的深度來判定深度。所判定的深度以及根據所判定的深度的經編碼的影像資料輸出至輸出器130。
基於對應於等於或低於最大深度的至少一個深度的較深寫碼單元而對LCU中的影像資料做編碼,且基於較深寫碼單元中的每一者而比較對影像資料做編碼的結果。可在比較較深寫碼單元的編碼誤差之後選擇具有最小編碼誤差的深度。可針對每一LCU選擇至少一個深度。
隨著寫碼單元根據深度而階層式分割,且隨著寫碼單元的數目增大,LCU的大小被分割。且,即使寫碼單元對應於一個LCU中的同一深度,仍藉由獨立量測每一寫碼單元的影像資料的 編碼誤差而判定是否將對應於同一深度的寫碼單元中的每一者分割為較下層深度。因此,即使當影像資料包含於一個LCU中時,編碼誤差仍可根據所述一個LCU中的區域而不同,也因此深度可根據影像資料中的區域而不同。因此,可在一個LCU中判定一或多個深度,且可根據至少一個深度的寫碼單元而劃分LCU的影像資料。
因此,寫碼單元判定器120可判定LCU中所包含的具有樹狀結構的寫碼單元。根據一或多個實施例的「具有樹狀結構的寫碼單元」包含LCU中所包含的所有較深寫碼單元中的對應於判定為所述深度的深度的寫碼單元。可根據LCU的同一區域中的深度而階層式判定一深度的寫碼單元,且可在不同區域中獨立地進行判定。類似地,可獨立於另一區域中的深度而判定當前區域中的深度。
根據一或多個實施例的最大深度為與自LCU至SCU的分割次數相關的索引。根據一或多個實施例的第一最大深度可表示自LCU至SCU的總分割次數。根據一或多個實施例的第二最大深度可表示自LCU至SCU的總深度層級數。舉例而言,當LCU的深度為0時,LCU被分割一次的寫碼單元的深度可設定為1,且LCU被分割兩次的寫碼單元的深度可設定為2。此處,若SCU為LCU被分割四次的寫碼單元,則存在深度0、1、2、3以及4的5個深度層級,也因此第一最大深度可設定為4,且第二最大深度可 設定為5。
可根據LCU執行預測編碼以及變換。根據LCU,亦基於根據等於最大深度的深度或小於最大深度的深度的較深寫碼單元來執行預測編碼以及變換。
因為每當根據深度來分割LCU,較深寫碼單元的數目便增大,所以對隨著深度增大而產生的所有較深寫碼單元執行包含預測編碼以及變換的編碼。為便於描述,在LCU中,現將基於當前深度的寫碼單元來描述預測編碼以及變換。
視訊編碼裝置100可按各種方式選擇用於對影像資料做編碼的資料單元的大小或形狀。為了對影像資料做編碼,執行諸如預測編碼、變換以及熵編碼的操作,且此時,同一資料單元可用於所有操作或不同資料單元可用於每一操作。
舉例而言,視訊編碼裝置100可不僅選擇用於對影像資料做編碼的寫碼單元,而且選擇不同於寫碼單元的資料單元,以便對寫碼單元中的影像資料執行預測編碼。
為了在LCU中執行預測編碼,可基於對應於一深度的寫碼單元(亦即,基於不再分割為對應於較下層深度的寫碼單元的寫碼單元)來執行預測編碼。下文中,不再分割且變為用於預測編碼的基礎單元的寫碼單元現將被稱為「預測單元」。藉由分割預測單元而獲得的分區可包含藉由分割預測單元的高度以及寬度中的至少一者而獲得的預測單元或資料單元。分區為分割寫碼單元 的預測單元的資料單元,且預測單元可為大小與寫碼單元相同的分區。
舉例而言,當2N×2N(其中N為正整數)的寫碼單元不再分割且變為2N×2N的預測單元時,且分區的大小可為2N×2N、2N×N、N×2N或N×N。分區模式的實例包含藉由對稱地分割預測單元的高度或寬度而獲得的對稱分區、藉由非對稱地分割預測單元的高度或寬度(諸如,1:n或n:1)而獲得的分區、藉由用幾何方式分割預測單元而獲得的分區,以及具有任意形狀的分區。
預測單元的預測模式可為畫面內模式、畫面間模式以及跳過模式中的至少一者。舉例而言,可對2N×2N、2N×N、N×2N或N×N的分區執行畫面內模式或畫面間模式。且,可僅對2N×2N的分區執行跳過模式。在寫碼單元中對一個預測單元獨立地執行編碼,藉此選擇具有最小編碼誤差的預測模式。
視訊編碼裝置100亦可不僅基於用於對影像資料做編碼的寫碼單元而且基於不同於寫碼單元的資料單元而對寫碼單元中的影像資料執行變換。為了在寫碼單元中執行變換,可基於具有小於等於寫碼單元的大小的資料單元來執行變換。舉例而言,用於變換的資料單元可包含用於畫面內模式的資料單元以及用於畫面間模式的資料單元。
以類似於根據樹狀結構的寫碼單元的方式,寫碼單元中的變換單元可按遞迴方式分割為較小大小的區域。因此,可根據 具有根據變換深度的樹狀結構的變換單元而劃分寫碼單元中的留數。
亦可在變換單元中設定指示藉由分割寫碼單元的高度以及寬度而達到變換單元的分割次數的變換深度。舉例而言,在2N×2N的當前寫碼單元中,當變換單元的大小為2N×2N時,變換深度可為0,當變換單元的大小為N×N時,變換深度可為1,且當變換單元的大小為N/2×N/2時,變換深度可為2。換言之,可根據變換深度而設定具有樹狀結構的變換單元。
根據對應於一深度的寫碼單元的編碼資訊不僅需要關於所述深度的資訊,而且需要與預測編碼以及變換相關的資訊。因此,寫碼單元判定器120不僅判定具有最小編碼誤差的深度,而且判定預測單元中的分區模式、根據預測單元的預測模式,以及用於變換的變換單元的大小。
下文將參照圖7至圖19詳細描述根據一或多個實施例的LCU中的根據樹狀結構的寫碼單元及判定預測單元/分區以及變換單元的方法。
寫碼單元判定器120可藉由基於拉格朗日乘數(Lagrangian multiplier)使用位元率-失真最佳化(Rate-Distortion Optimization)來量測根據深度的較深寫碼單元的編碼誤差。
輸出器130按照位元串流的形式輸出基於由寫碼單元判定器120判定的至少一個深度而編碼的LCU的影像資料,以及根 據所述深度關於編碼模式的資訊。
可藉由對影像的留數做編碼來獲得經編碼的影像資料。
根據深度關於編碼模式的資訊可包含關於所述深度、關於預測單元中的分區模式、預測模式以及變換單元的大小的資訊。
可藉由使用根據深度的分割資訊來定義關於深度的資訊,根據深度的分割資訊指示是否對較下層深度而非當前深度的寫碼單元執行編碼。若當前寫碼單元的當前深度為所述深度,則對當前寫碼單元中的影像資料做編碼且輸出,也因此,分割資訊可定義為不將當前寫碼單元分割為較下層深度。或者,若當前寫碼單元的當前深度並非所述深度,則對較下層深度的寫碼單元執行編碼,也因此分割資訊可定義為分割當前寫碼單元以獲得較下層深度的寫碼單元。
若當前深度並非所述深度,則對分割為較下層深度的寫碼單元的寫碼單元執行編碼。因為較下層深度的至少一個寫碼單元存在於當前深度的一個寫碼單元中,所以對較下層深度的每一寫碼單元重複地執行編碼,也因此可對具有同一深度的寫碼單元按遞迴方式執行編碼。
因為針對一個LCU而判定具有樹狀結構的寫碼單元,且針對一深度的寫碼單元而判定關於至少一個編碼模式的資訊,所以可針對一個LCU而判定關於至少一個編碼模式的資訊。且,LCU的影像資料的深度可根據位置而不同,此是因為根據深度而階層 式分割影像資料,也因此可針對影像資料而設定分割資訊。
因此,輸出器130可將對應分割資訊指派給LCU中所包含的寫碼單元、預測單元以及最小單元中的至少一者。
根據一或多個實施例的最小單元為藉由將構成最下層深度的SCU分割為4份而獲得的正方形資料單元。或者,根據實施例的最小單元可為可包含於LCU中所包含的所有寫碼單元、預測單元、分區單元以及變換單元中的最大正方形資料單元。
舉例而言,由輸出器130輸出的編碼資訊可分類為根據較深寫碼單元的編碼資訊,以及根據預測單元的編碼資訊。根據較深寫碼單元的編碼資訊可包含關於預測模式以及關於分區的大小的資訊。根據預測單元的編碼資訊可包含關於畫面間模式的估計方向、關於畫面間模式的參考影像索引、關於運動向量、關於畫面內模式的色度分量以及關於畫面內模式的內插方法的資訊。
關於根據圖像、片段或GOP而定義的寫碼單元的最大大小的資訊,以及關於最大深度的資訊可插入至位元串流的標頭、序列參數集合(Sequence Parameter Set)或圖像參數集合(picture parameter set)中。
關於針對當前視訊而允許的變換單元的最大大小的資訊,以及關於變換單元的最小大小的資訊亦可經由位元串流的標頭、序列參數集合或圖像參數集合而輸出。輸出器130可對與上文參照圖1A至圖14而描述的SAO操作相關的SAO參數做編碼 以及輸出。
在視訊編碼裝置100中,較深寫碼單元可為藉由將較上層深度的寫碼單元(其為上一層)的高度或寬度劃分為2份而獲得的寫碼單元。換言之,在當前深度的寫碼單元的大小為2N×2N時,較下層深度的寫碼單元的大小為N×N。且,大小為2N×2N的當前深度的寫碼單元可包含較下層深度的最多4個寫碼單元。
因此,視訊編碼裝置100可藉由基於考慮當前圖像的特性而判定的LCU的大小以及最大深度,藉由針對每一LCU判定具有最佳形狀以及最佳大小的寫碼單元而形成具有樹狀結構的寫碼單元。且,因為藉由使用各種預測模式以及變換中的任一者對每一LCU執行編碼,所以可考慮各種影像大小的寫碼單元的特性來判定最佳編碼模式。
因此,若在巨集區塊中對具有高解析度或大資料量的影像做編碼,則每圖像的巨集區塊的數目過度地增大。因此,針對每一巨集區塊產生的壓縮資訊的段數增大,也因此難以傳輸壓縮資訊,且資料壓縮效率降低。然而,藉由使用視訊編碼裝置100,因為在考慮影像的大小而增大寫碼單元的最大大小的同時考慮影像的特性而調整寫碼單元,所以影像壓縮效率可提高。
圖15的視訊編碼裝置100可執行上文參照圖1A及圖11A所述的SAO編碼裝置10的操作。
圖16為根據一或多個實施例的基於具有樹狀結構的寫碼 單元的視訊解碼裝置200的方塊圖。
涉及基於具有樹狀結構的寫碼單元的視訊預測的視訊解碼裝置200包含接收器210、影像資料以及編碼資訊提取器220以及影像資料解碼器230。
用於視訊解碼裝置200的解碼操作的各種術語(諸如,寫碼單元、深度、預測單元、變換單元以及關於各種編碼模式的資訊)的定義與參照圖8且參考視訊編碼裝置100所述的術語相同。
接收器210接收且剖析經編碼的視訊的位元串流。影像資料以及編碼資訊提取器220自所剖析的位元串流提取每一寫碼單元的經編碼的影像資料,其中寫碼單元具有根據每一LCU的樹狀結構,且將所提取的影像資料輸出至影像資料解碼器230。影像資料以及編碼資訊提取器220可自關於當前圖像的標頭、序列參數集合或圖像參數集合提取關於當前圖像的寫碼單元的最大大小的資訊。
且,影像資料以及編碼資訊提取器220自所剖析的位元串流針對具有根據每一LCU的樹狀結構的寫碼單元提取分割資訊以及編碼資訊。所提取的分割資訊以及編碼資訊輸出至影像資料解碼器230。換言之,位元串流中的影像資料分割為LCU,以使得影像資料解碼器230對每一LCU的影像資料做解碼。
可針對對應於所述深度的至少一段分割資訊而設定根據 LCU的分割資訊以及編碼資訊,且根據所述深度的編碼資訊可包含關於對應於所述深度的對應寫碼單元的分區模式的資訊、關於預測模式的資訊以及變換單元的分割資訊。且,可將根據深度的分割資訊作為關於最終深度的資訊來提取。
由影像資料以及編碼資訊提取器220提取的根據每一LCU的分割資訊以及編碼資訊為關於經判定以在諸如視訊編碼裝置100的編碼器根據每一LCU對根據深度的每一較深寫碼單元重複地執行編碼時產生最小編碼誤差的分割資訊以及編碼資訊。因此,視訊解碼裝置200可藉由根據產生最小編碼誤差的深度以及編碼模式來對影像資料做解碼而重新建構影像。
因為分割資訊以及編碼資訊可指派給對應寫碼單元、預測單元以及最小單元中的預定資料單元,所以影像資料以及編碼資訊提取器220可提取根據預定資料單元的分割資訊以及編碼資訊。若根據預定資料單元而記錄對應LCU的分割資訊以及編碼資訊,則被指派相同分割資訊以及編碼資訊的預定資料單元可推斷為同一LCU中所包含的資料單元。
影像資料解碼器230可藉由基於根據LCU的分割資訊以及編碼資訊對每一LCU中的影像資料做解碼來重新建構當前圖像。換言之,影像資料解碼器230可基於關於每一LCU中所包含的具有樹狀結構的寫碼單元中的每一寫碼單元的分區模式、預測模式以及變換單元的所提取的資訊而對經編碼的影像資料做解 碼。解碼程序可包含:包含畫面內預測以及運動補償的預測;以及逆變換。
影像資料解碼器230可基於根據深度關於每一寫碼單元的預測單元的分區模式以及預測模式的資訊根據所述寫碼單元的分區以及預測模式來執行畫面內預測或運動補償。
此外,影像資料解碼器230可針對每一寫碼單元根據樹狀結構來讀取關於變換單元的資訊,以便基於每一寫碼單元的變換單元來執行逆變換,以實現每一LCU的逆變換。經由逆變換,可重新建構寫碼單元的空間域的像素值。
影像資料解碼器230可藉由使用根據深度的分割資訊而判定當前LCU的最終深度。若分割資訊指示影像資料在當前深度中不再分割,則當前深度為最終深度。因此,影像資料解碼器230可針對對應於所述深度的每一寫碼單元藉由使用關於預測單元的分區模式的資訊、關於預測模式的資訊以及變換單元的分割資訊來對當前LCU中的經編碼的資料做解碼。
換言之,可藉由觀測針對寫碼單元、預測單元以及最小單元中的預定資料單元而指派的編碼資訊集合來收集含有包含相同分割資訊的編碼資訊的資料單元,且可將所收集的資料單元視為待由影像資料解碼器230在同一編碼模式中解碼的一個資料單元。因此,可藉由針對每一寫碼單元獲得關於編碼模式的資訊來對當前寫碼單元做解碼。
且,圖16的視訊解碼裝置200可執行上文參照圖2A所述的SAO解碼裝置20的操作。
圖17為用於描述根據一或多個實施例的寫碼單元的概念的圖式。
寫碼單元的大小可用寬度×高度來表達,且可為64×64、32×32、16×16以及8×8。64×64的寫碼單元可分割為64×64、64×32、32×64或32×32的分區,且32×32的寫碼單元可分割為32×32、32×16、16×32或16×16的分區,16×16的寫碼單元可分割為16×16、16×8、8×16或8×8的分區,且8×8的寫碼單元可分割為8×8、8×4、4×8或4×4的分區。
在視訊資料310中,解析度為1920×1080,寫碼單元的最大大小為64,且最大深度為2。在視訊資料320中,解析度為1920×1080,寫碼單元的最大大小為64,且最大深度為3。在視訊資料330中,解析度為352×288,寫碼單元的最大大小為16,且最大深度為1。圖17所示的最大深度表示自LCU至最小解碼單元的總分割次數。
若解析度高或資料量大,則寫碼單元的最大大小可為大的,以便不僅提高編碼效率而且準確地反映影像的特性。因此,具有高於視訊資料330的解析度的視訊資料310以及320的寫碼單元的最大大小可為64。
因為視訊資料310的最大深度為2,所以視訊資料310 的寫碼單元315可包含長軸大小為64的LCU,以及長軸大小為32以及16的寫碼單元,此是因為深度藉由分割LCU兩次而加深為兩層。因為視訊資料330的最大深度為1,所以視訊資料330的寫碼單元335可包含長軸大小為16的LCU,以及長軸大小為8的寫碼單元,此是因為深度藉由分割LCU一次而加深為一層。
因為視訊資料320的最大深度為3,所以視訊資料320的寫碼單元325可包含長軸大小為64的LCU,以及長軸大小為32、16以及8的寫碼單元,此是因為深度藉由分割LCU三次而加深為三層。隨著深度增大,可精確地表達詳細資訊。
圖18為根據一或多個實施例的基於寫碼單元的影像編碼器400的方塊圖。
影像編碼器400執行在視訊編碼裝置100的寫碼單元判定器120中對影像資料做編碼所需的操作。換言之,畫面內預測器420在當前影像405中根據預測單元對處於畫面內模式中的寫碼單元執行畫面內預測,且畫面間預測器415根據預測單元藉由使用當前影像405以及自經重新建構圖像緩衝器410獲得的參考影像對處於畫面間模式中的寫碼單元執行畫面間預測。可將當前影像405分割為LCU,且接著依序對LCU做編碼。就此而言,可對待分割為具有樹狀結構的寫碼單元的LCU做編碼。
留數資料藉由自關於當前影像405的經編碼的寫碼單元的資料移除關於自畫面內預測器420或畫面間預測器415輸出的 每一模式的寫碼單元的預測資料而產生,且經由變換器425以及量化器430根據變換單元作為經量化的變換係數輸出。經量化的變換係數經由解量化器445以及逆變換器450重新建構為空間域中的留數資料。空間域中的經重新建構的留數資料添加到自畫面內預測器420或畫面間預測器輸出的每一模式的寫碼單元的預測資料,也因此重新建構為當前影像405的寫碼單元的空間域中的資料。空間域中的經重新建構的資料經由解區塊器455以及SAO執行器460而產生為經重新建構的影像,且經重新建構的影像儲存於經重新建構圖像緩衝器410中。儲存於經重新建構圖像緩衝器410中的經重新建構的影像可用作用於另一影像的畫面間預測的參考影像。由變換器425以及量化器430量化的變換係數可經由熵編碼器435作為位元串流440輸出。
為了使影像編碼器400應用於視訊編碼裝置100中,影像編碼器400的所有部件(亦即,畫面間預測器415、畫面內預測器420、變換器425、量化器430、熵編碼器435、解量化器445、逆變換器450、解區塊器455以及SAO執行器460)基於具有根據每一LCU的樹狀結構的寫碼單元中的每一寫碼單元而執行操作。
特定而言,畫面內預測器410、運動估計器420以及運動補償器425在考慮當前LCU的最大大小以及最大深度的同時判定具有樹狀結構的寫碼單元中的每一寫碼單元的分區以及預測模 式,且變換器430判定具有樹狀結構的寫碼單元中的每一寫碼單元中的變換單元的大小。
具體而言,畫面內預測器420以及畫面間預測器415考慮到當前LCU的最大大小以及最大深度而判定具有樹狀結構的寫碼單元中的每一寫碼單元的分區模式以及預測模式,且變換器425可判定在具有樹狀結構的寫碼單元中的每一寫碼單元中是否分割具有四元樹狀結構的變換單元。
圖19為根據一或多個實施例的基於寫碼單元的影像解碼器500的方塊圖。
熵解碼器515自位元串流505剖析待解碼的經編碼的影像資料以及解碼所需的關於編碼的資訊。經編碼的影像資料為經量化的變換係數,留數資料是由解量化器520以及逆變換器525自所述經量化的變換係數重新建構。
畫面內預測器540根據每一預測單元對處於畫面內模式中的寫碼單元執行畫面內預測。畫面間預測器535藉由使用自經重新建構圖像緩衝器530獲得的參考影像針對每一預測單元對當前影像405中的處於畫面間模式中的寫碼單元執行畫面間預測。
將通過畫面內預測器540以及畫面間預測器535的關於每一模式的寫碼單元的預測資料以及留數資料相加,也因此可重新建構關於當前影像405的寫碼單元的空間域中的資料,且空間域中的經重新建構的資料可經由解區塊器545以及SAO執行器 550作為經重新建構的影像560輸出。儲存於經重新建構圖像緩衝器530中的經重新建構的影像可作為參考影像輸出。
為了在視訊解碼裝置200的影像資料解碼器230中對影像資料做解碼,可執行根據實施例的影像解碼器500的熵解碼器515之後的操作。
為了使影像解碼器500應用於根據實施例的視訊解碼裝置200中,影像解碼器500的所有部件(亦即,熵解碼器515、解量化器520、逆變換器525、畫面間預測器535、解區塊器545以及SAO執行器550)可針對每一LCU基於具有樹狀結構的寫碼單元來執行操作。
特定而言,SAO執行器550以及畫面間預測器535可判定具有樹狀結構的寫碼單元中的每一者的分區以及預測模式,且逆變換器525可判定針對寫碼單元中的每一者是否分割具有四元樹狀結構的變換單元。
圖20為說明根據一或多個實施例的根據深度的較深寫碼單元以及分區的圖式。
視訊編碼裝置100以及視訊解碼裝置200使用階層式寫碼單元以便考慮影像的特性。可根據影像的特性來自適應地判定寫碼單元的最大高度、最大寬度以及最大深度,或可由使用者不同地進行設定。可根據寫碼單元的預定最大大小判定根據深度的較深寫碼單元的大小。
根據一或多個實施例,在寫碼單元的階層式結構600中,寫碼單元的最大高度以及最大寬度各為64,且最大深度為3。在此狀況下,最大深度指寫碼單元自LCU分割至SCU的總分割次數。因為深度沿著階層式結構600的垂直軸增大,所以將較深寫碼單元的高度以及寬度各自分割。且,沿著階層式結構600的水平軸展示作為用於每一較深寫碼單元的預測編碼的基礎的預測單元以及分區。
換言之,寫碼單元610為階層式結構600中的LCU,其中深度為0且大小(亦即,高度乘寬度)為64×64。深度沿著垂直軸而增大,且存在大小為32×32且深度為1的寫碼單元620、大小為16×16且深度為2的寫碼單元630以及大小為8×8且深度為3的寫碼單元640。大小為8×8且深度為3的寫碼單元640為SCU。
寫碼單元的預測單元以及分區根據每一深度沿著水平軸而配置。換言之,若大小為64×64且深度為0的寫碼單元610為預測單元,則預測單元可分割為包含於寫碼單元610中的分區,亦即,大小為64×64的分區、大小為64×32的分區612、大小為32×64的分區614或大小為32×32的分區616。
類似地,大小為32×32且深度為1的寫碼單元620的預測單元可分割為包含於寫碼單元620中的分區,亦即,大小為32×32的分區、大小為32×16的分區622、大小為16×32的分區624以及大小為16×16的分區626。
類似地,大小為16×16且深度為2的寫碼單元630的預測單元可分割為包含於寫碼單元630中的分區,亦即,包含於寫碼單元中的大小為16×16的分區、大小為16×8的分區632、大小為8×16的分區634以及大小為8×8的分區636。
類似地,大小為8×8且深度為3的寫碼單元640的預測單元可分割為包含於寫碼單元640中的分區,亦即,包含於寫碼單元中的大小為8×8的分區、大小為8×4的分區642、大小為4×8的分區644以及大小為4×4的分區646。
為了判定構成LCU的寫碼單元的最終深度,視訊編碼裝置100的寫碼單元判定器120對包含於LCU中的對應於每一深度的寫碼單元執行編碼。
隨著深度增大,包含相同範圍中的資料以及相同大小的根據深度的較深寫碼單元的數目增大。舉例而言,需要對應於深度2的四個寫碼單元來涵蓋包含於對應於深度1的一個寫碼單元中的資料。因此,為了比較根據深度的相同資料的編碼結果,將對應於深度1的寫碼單元以及對應於深度2的四個寫碼單元各自編碼。
為了針對深度中的當前深度執行編碼,沿著階層式結構600的水平軸,可藉由針對對應於當前深度的寫碼單元中的每一預測單元執行編碼而針對當前深度選擇最小編碼誤差。或者,可藉由比較根據深度的最小編碼誤差、藉由隨著深度沿著階層式結構 600的垂直軸增大而針對每一深度執行編碼來搜尋最小編碼誤差。可選擇寫碼單元610中具有最小編碼誤差的深度以及分區作為寫碼單元610的最終深度以及分區模式。
圖21為用於描述根據一或多個實施例的寫碼單元710與變換單元720之間的關係的圖式。
視訊編碼裝置100或視訊解碼裝置200針對每一LCU根據具有小於等於LCU的大小的寫碼單元來對影像做編碼或解碼。可基於不大於對應寫碼單元的資料單元而選擇在編碼期間用於變換的變換單元的大小。
舉例而言,在視訊編碼裝置100或視訊解碼裝置200中,若寫碼單元710的大小為64×64,則可藉由使用大小為32×32的變換單元720來執行變換。
且,可藉由對大小為小於64×64的32×32、16×16、8×8以及4×4的變換單元中的每一者執行變換而對大小為64×64的寫碼單元710的資料做編碼,且接著可選擇具有最小寫碼誤差的變換單元。
圖22為用於描述根據一或多個實施例的對應於深度的寫碼單元的編碼資訊的圖式。
視訊編碼裝置100的輸出器130可對關於分區模式的傳輸資訊800、關於預測模式的資訊810,以及關於對應於最終深度的每一寫碼單元的變換單元的大小的資訊820做編碼且作為關於 編碼模式的資訊而傳輸。
資訊800指示關於藉由分割當前寫碼單元的預測單元而獲得的分區的模式的資訊,其中分區為用於當前寫碼單元的預測編碼的資料單元。舉例而言,大小為2N×2N的當前寫碼單元CU_0可分割為大小為2N×2N的分區802、大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的任一者。此處,關於分區模式的資訊800設定為指示大小為2N×N的分區804、大小為N×2N的分區806以及大小為N×N的分區808中的一者。
資訊810指示每一分區的預測模式。舉例而言,資訊810可指示對由資訊800指示的分區執行的預測編碼的模式,亦即,畫面內模式812、畫面間模式814或跳過模式816。
資訊820指示待基於何時對當前寫碼單元執行變換的變換單元。舉例而言,變換單元可為第一畫面內變換單元822、第二畫面內變換單元824、第一畫面間變換單元826或第二畫面間變換單元828。
根據每一較深寫碼單元,視訊解碼裝置200的影像資料以及編碼資訊提取器220可提取且使用資訊800、810以及820以用於解碼。
圖23為根據一或多個實施例的根據深度的較深寫碼單元的圖式。
分割資訊可用於指示深度的改變。分割資訊指示當前深度的寫碼單元是否分割為較下層深度的寫碼單元。
用於深度為0且大小為2N_0×2N_0的寫碼單元900的預測編碼的預測單元910可包含大小為2N_0×2N_0的分區模式912、大小為2N_0×N_0的分區模式914、大小為N_0×2N_0的分區模式916以及大小為N_0×N_0的分區模式918的分區。圖23僅說明藉由對稱地分割預測單元910而獲得的分區模式912至918,但分區模式不限於此,且預測單元910的分區可包含非對稱分區、具有預定形狀的分區以及具有幾何形狀的分區。
根據每一分區模式,對大小為2N_0×2N_0的一個分區、大小為2N_0×N_0的兩個分區、大小為N_0×2N_0的兩個分區以及大小為N_0×N_0的四個分區重複地執行預測編碼。可對大小為2N_0×2N_0、N_0×2N_0、2N_0×N_0以及N_0×N_0的分區執行在畫面內模式以及畫面間模式中的預測編碼。僅對大小為2N_0×2N_0的分區執行在跳過模式中的預測編碼。
若編碼誤差在分區模式912至916中的一者中最小,則預測單元910可能不分割為較下層深度。
若編碼誤差在分區模式918中最小,則深度自0改變為1以在操作920中分割分區模式918,且對深度為2且大小為N_0×N_0的寫碼單元930重複地執行編碼以搜尋最小編碼誤差。
用於深度為1且大小為2N_1×2N_1(=N_0×N_0)的寫碼 單元930的預測編碼的預測單元940可包含大小為2N_1×2N_1的分區模式942、大小為2N_1×N_1的分區模式944、大小為N_1×2N_1的分區模式946以及大小為N_1×N_1的分區模式948的分區。
若編碼誤差在分區模式948中最小,則深度自1改變為2以在操作950中分割分區模式948,且對深度為2且大小為N_2×N_2的寫碼單元960重複地執行編碼以搜尋最小編碼誤差。
當最大深度為d時,可執行根據每一深度的分割操作直至深度變為d-1時,且可對分割資訊做編碼直至深度為0至d-2中的一者時。換言之,當執行編碼直至在對應於深度d-2的寫碼單元在操作970中分割之後深度為d-1時,用於深度為d-1且大小為2N_(d-1)×2N_(d-1)的寫碼單元980的預測編碼的預測單元990可包含大小為2N_(d-1)×2N_(d-1)的分區模式992、大小為2N_(d-1)×N_(d-1)的分區模式994、大小為N_(d-1)×2N_(d-1)的分區模式996以及大小為N_(d-1)×N_(d-1)的分區模式998的分區。
可對分區模式992至998中的大小為2N_(d-1)×2N_(d-1)的一個分區、大小為2N_(d-1)×N_(d-1)的兩個分區、大小為N_(d-1)×2N_(d-1)的兩個分區、大小為N_(d-1)×N_(d-1)的四個分區重複地執行預測編碼以搜尋具有最小編碼誤差的分區模式。
即使當分區模式998具有最小編碼誤差時,因為最大深度為d,所以不再將深度為d-1的寫碼單元CU_(d-1)分割為較下層 深度,且將構成寫碼單元900的寫碼單元的深度判定為d-1,且可將寫碼單元900的分區模式判定為N_(d-1)×N_(d-1)。且,因為最大深度為d且具有最下層深度d-1的SCU 980不再分割為較下層深度,所以不設定用於SCU 980的分割資訊。
資料單元999可為當前LCU的「最小單元」。根據一或多個實施例的最小單元可為藉由將SCU 980分割為4份而獲得的正方形資料單元。藉由重複地執行編碼,視訊編碼裝置100可藉由根據寫碼單元900的深度比較編碼誤差而選擇具有最小編碼誤差的深度以判定深度,且將對應分區模式以及預測模式設定為所述深度的編碼模式。
因而,在所有深度1至d中比較根據深度的最小編碼誤差,且可將具有最小編碼誤差的深度判定為深度。可對深度、預測單元的分區模式以及預測模式做編碼且作為關於編碼模式的資訊而傳輸。且,因為寫碼單元自深度0分割為一深度,因此僅所述深度的分割資訊設定為0,且排除所述深度的深度的分割資訊設定為1。
視訊解碼裝置200的影像資料以及編碼資訊提取器220可提取且使用關於寫碼單元900的深度以及預測單元的資訊以對分區912做解碼。視訊解碼裝置200可藉由使用根據深度的分割資訊而將分割資訊為0的深度判定為深度,且使用關於對應深度的編碼模式的資訊以用於解碼。
圖24至圖26為用於描述根據一或多個實施例的寫碼單元1010、預測單元1060與變換單元1070之間的關係的圖式。
寫碼單元1010為在LCU中對應於由視訊編碼裝置100判定的深度的具有樹狀結構的寫碼單元。預測單元1060為寫碼單元1010中的每一者的預測單元的分區,且變換單元1070為寫碼單元1010中的每一者的變換單元。
當LCU的深度在寫碼單元1010中為0時,寫碼單元1012以及1054的深度為1,寫碼單元1014、1016、1018、1028、1050以及1052的深度為2,寫碼單元1020、1022、1024、1026、1030、1032以及1048的深度為3,且寫碼單元1040、1042、1044以及1046的深度為4。
在預測單元1060中,藉由在寫碼單元1010中分割寫碼單元而獲得一些寫碼單元1014、1016、1022、1032、1048、1050、1052以及1054。換言之,寫碼單元1014、1022、1050以及1054中的分區模式的大小為2N×N,寫碼單元1016、1048以及1052中的分區模式的大小為N×2N,且寫碼單元1032的分區模式的大小為N×N。寫碼單元1010的預測單元以及分區小於等於每一寫碼單元。
對小於寫碼單元1052的資料單元中的變換單元1070中的寫碼單元1052的影像資料執行變換或逆變換。且,變換單元1070中的寫碼單元1014、1016、1022、1032、1048、1050以及 1052的大小以及形狀不同於預測單元1060中的寫碼單元。換言之,視訊編碼裝置100以及視訊解碼裝置200可對同一寫碼單元中的資料單元個別地執行畫面內預測、運動估計、運動補償、變換以及逆變換。
因此,對在LCU的每一區域中具有階層式結構的寫碼單元中的每一者以遞迴方式執行編碼以判定最佳寫碼單元,也因此可獲得具有遞迴樹狀結構的寫碼單元。編碼資訊可包含關於寫碼單元的分割資訊、關於分區模式的資訊、關於預測模式的資訊,以及關於變換單元的大小的資訊。表1展示可由視訊編碼裝置100以及視訊解碼裝置200設定的編碼資訊。
視訊編碼裝置100的輸出器130可輸出關於具有樹狀結構的寫碼單元的編碼資訊,且視訊解碼裝置200的影像資料以及編碼資訊提取器220可自所接收的位元串流提取關於具有樹狀結構的寫碼單元的編碼資訊。
分割資訊指示當前寫碼單元是否分割為較下層深度的寫碼單元。若當前深度d的分割資訊為0,則當前寫碼單元不再分割為較下層深度的深度為最終深度,也因此可針對最終深度而定義關於分區模式、預測模式以及變換單元的大小的資訊。若根據分割資訊進一步分割當前寫碼單元,則對較下層深度的四個分割寫碼單元獨立地執行編碼。
預測模式可為畫面內模式、畫面間模式以及跳過模式中的一者。可在所有分區模式中定義畫面內模式以及畫面間模式,且僅在大小為2N×2N的分區模式中定義跳過模式。
關於分區模式的資訊可指示:大小為2N×2N、2N×N、 N×2N以及N×N的對稱分區模式,其是藉由對稱地分割預測單元的高度或寬度而獲得;以及大小為2N×nU、2N×nD、nL×2N以及nR×2N的非對稱分區模式,其是藉由非對稱地分割預測單元的高度或寬度而獲得。可藉由以1:3以及3:1分割預測單元的高度而分別獲得大小為2N×nU以及2N×nD的非對稱分區模式,且可藉由以1:3以及3:1分割預測單元的寬度而分別獲得大小為nL×2N以及nR×2N的非對稱分區模式。
變換單元的大小可在畫面內模式中設定為兩種類型且在畫面間模式中設定為兩種類型。換言之,若變換單元的分割資訊為0,則變換單元的大小可為2N×2N,此為當前寫碼單元的大小。若變換單元的分割資訊為1,則可藉由分割當前寫碼單元而獲得變換單元。且,若大小為2N×2N的當前寫碼單元的分區模式為對稱分區模式,則變換單元的大小可為N×N,且若當前寫碼單元的分區模式為非對稱分區模式,則變換單元的大小可為N/2×N/2。
關於具有樹狀結構的寫碼單元的編碼資訊可包含對應於一深度的寫碼單元、預測單元以及最小單元中的至少一者。對應於所述深度的寫碼單元可包含含有相同編碼資訊的預測單元以及最小單元中的至少一者。
因此,藉由比較鄰近資料單元的編碼資訊而判定鄰近資料單元是否包含於對應於所述深度的同一寫碼單元中。且,藉由使用資料單元的編碼資訊而判定對應於一深度的對應寫碼單元, 也因此可判定LCU中的深度的分佈。
因此,若基於鄰近資料單元的編碼資訊而預測當前寫碼單元,則可直接參考且使用鄰近於當前寫碼單元的較深寫碼單元中的資料單元的編碼資訊。
或者,若基於鄰近資料單元的編碼資訊而預測當前寫碼單元,則使用資料單元的經編碼的資訊而搜尋鄰近於當前寫碼單元的資料單元,且可參考所搜尋的鄰近寫碼單元以用於預測當前寫碼單元。
圖27為用於描述根據表1的編碼模式資訊的寫碼單元、預測單元與變換單元之間的關係的圖式。
LCU 1300包含深度的寫碼單元1302、1304、1306、1312、1314、1316以及1318。此處,因為寫碼單元1318為一深度的寫碼單元,所以分割資訊可設定為0。關於大小為2N×2N的寫碼單元1318的分區模式的資訊可設定為大小為2N×2N的分區模式1322、大小為2N×N的分區模式1324、大小為N×2N的分區模式1326、大小為N×N的分區模式1328、大小為2N×nU的分區模式1332、大小為2N×nD的分區模式1334、大小為nL×2N的分區模式1336以及大小為nR×2N的分區模式1338中的一者。
變換單元的分割資訊(TU大小旗標)為一種類型的變換索引。對應於變換索引的變換單元的大小可根據寫碼單元的預測單元類型或分區模式而改變。
舉例而言,在分區模式設定為對稱(亦即,分區模式1322、1324、1326或1328)時,若變換單元的TU大小旗標為0,則設定大小為2N×2N的變換單元1342,且若TU大小旗標為1,則設定大小為N×N的變換單元1344。
當分區模式設定為非對稱(亦即,分區模式1332、1334、1336或1338)時,若TU大小旗標為0,則設定大小為2N×2N的變換單元1352,且若TU大小旗標為1,則設定大小為N/2×N/2的變換單元1354。
參照圖27,TU大小旗標為具有值0或1的旗標,但TU大小旗標不限於1個位元,且變換單元可在TU大小旗標自0增大時階層式分割為具有樹狀結構。變換單元的分割資訊(TU大小旗標)可為變換索引的實例。
根據一或多個實施例,在此狀況下,藉由將變換單元的TU大小旗標與變換單元的最大大小及最小大小一起使用,可表達已實際使用的變換單元的大小。視訊編碼裝置100能夠對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標做編碼。對最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標做編碼的結果可插入至SPS中。視訊解碼裝置200可藉由使用最大變換單元大小資訊、最小變換單元大小資訊以及最大TU大小旗標來對視訊做解碼。
舉例而言,(a)若當前寫碼單元的大小為64×64且最大 變換單元大小為32×32,則(a-1)當TU大小旗標為0時,變換單元的大小可為32×32,(a-2)當TU大小旗標為1時,變換單元的大小可為16×16,且(a-3)當TU大小旗標為2時,變換單元的大小可為8×8。
作為另一實例,(b)若當前寫碼單元的大小為32×32且最小變換單元大小為32×32,則(b-1)當TU大小旗標為0時,變換單元的大小可為32×32。此時,TU大小旗標無法設定為除0之外的值,此是因為變換單元的大小無法小於32×32。
作為另一實例,(c)若當前寫碼單元的大小為64×64且最大TU大小旗標為1,則TU大小旗標可為0或1。此時,TU大小旗標無法設定為除0或1之外的值。
因此,若定義最大TU大小旗標為「MaxTransformSizeIndex」、最小變換單元大小為「MinTransformSize」且在TU大小旗標為0時的變換單元大小為「RootTuSize」,則可在當前寫碼單元中判定的當前最小變換單元大小「-CurrMinTuSize」可由方程式(1)來定義:CurrMinTuSize=max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))...(1)
與可在當前寫碼單元中判定的當前最小變換單元大小「CurrMinTuSize」相比,在TU大小旗標為0時的變換單元大小「RootTuSize」可表示可在系統中選擇的最大變換單元大小。在方 程式(1)中,「RootTuSize/(2^MaxTransformSizeIndex)」表示在TU大小旗標為0時的變換單元大小「RootTuSize」分割對應於最大TU大小旗標的次數時的變換單元大小,且「MinTransformSize」表示最小變換大小。因此,「RootTuSize/(2^MaxTransformSizeIndex)」以及「MinTransformSize」中的較小值可為可在當前寫碼單元中判定的當前最小變換單元大小「CurrMinTuSize」。
根據一或多個實施例,最大變換單元大小RootTuSize可根據預測模式的類型而變化。
舉例而言,若當前預測模式為畫面間模式,則可藉由使用下文方程式(2)來判定「RootTuSize」。在方程式(2)中,「MaxTransformSize」表示最大變換單元大小,且「PUSize」表示當前預測單元大小。
RootTuSize=min(MaxTransformSize,PUSize).........(2)
亦即,若當前預測模式為畫面間模式,則在TU大小旗標為0時的變換單元大小「RootTuSize」可為最大變換單元大小以及當前預測單元大小中的較小值。
若當前分區單元的預測模式為畫面內模式,則可藉由使用下文方程式(3)來判定「RootTuSize」。在方程式(3)中,「PartitionSize」表示當前分區單元的大小。
RootTuSize=min(MaxTransformSize,PartitionSize)...........(3)
亦即,若當前預測模式為畫面內模式,則在TU大小旗標為0時的變換單元大小「RootTuSize」可為最大變換單元大小以及當前分區單元的大小中的較小值。
然而,根據分區單元的預測模式的類型而變化的當前最大變換單元大小「RootTuSize」僅為一實例,且實施例不限於此。
根據如參照圖15至圖27而描述的基於具有樹狀結構的寫碼單元的視訊編碼方法,針對樹狀結構的每一寫碼單元來對空間域的影像資料做編碼。根據基於具有樹狀結構的寫碼單元的視訊解碼方法,針對每一LCU來執行解碼以重新建構空間域的影像資料。因此,可重新建構圖像以及視訊(其為圖像序列)。經重新建構的視訊可由再生裝置再生,儲存於儲存媒體中或經由網路而傳輸。
且,可關於每一圖像、每一片段、每一LCU、具有樹狀結構的寫碼單元中的每一者、寫碼單元中的每一預測單元或寫碼單元的每一變換單元來用信號發送SAO參數。舉例而言,可藉由使用基於所接收的SAO參數而重新建構的偏移值來調整每一LCU的經重新建構的像素的像素值,也因此,可重新建構在原始區塊與LCU之間具有最小化的誤差的LCU。
為便於描述,上文參照圖1A至圖18所述的根據取樣偏移的調整的視訊編碼方法將稱為「根據一或多個實施例的視訊編碼方法」。此外,上文參照圖1A至圖18所述的根據取樣偏移的調 整的視訊解碼方法將稱為「根據一或多個實施例的視訊解碼方法」。
且,上文參照圖1A至圖18所述的包含SAO編碼裝置10、視訊編碼裝置100或影像編碼器400的視訊編碼裝置將稱為「根據一或多個實施例的視訊編碼裝置」。此外,上文參照圖1A至圖18所述的包含SAO解碼裝置20、視訊解碼裝置200或影像解碼器500的視訊解碼裝置將稱為「根據一或多個實施例的視訊解碼裝置」。
現將詳細描述根據一或多個實施例的儲存程式的電腦可讀記錄媒體(例如,光碟26000)。
圖28為根據一或多個實施例的儲存程式的光碟26000的實體結構的圖式。光碟26000(其為儲存媒體)可為硬碟機(hard drive)、緊密光碟-唯讀記憶體(compact disc-read only memory,CD-ROM)光碟、藍光光碟(Blu-ray disc)或數位多功能光碟(digital versatile disc,DVD)。光碟26000包含多個同心磁軌Tr,其各自劃分為在光碟26000的圓周方向上的具體數目的磁區Se。在光碟26000的具體區域中,可指派並儲存執行上述量化參數判定方法、視訊編碼方法以及視訊解碼方法的程式。
現將參照圖29描述電腦系統,所述電腦系統是使用儲存媒體來體現的,所述儲存媒體儲存用於執行如上所述的視訊編碼方法以及視訊解碼方法的程式。
圖29為藉由使用光碟26000而記錄以及讀取程式的光碟機26800的圖式。電腦系統26700可經由光碟機26800而在光碟26000中儲存程式,所述程式執行根據一或多個實施例的視訊編碼方法以及視訊解碼方法中的至少一者。為了在電腦系統26700中執行儲存於光碟26000中的程式,可藉由使用光碟機26800而自光碟26000讀取程式,並將其傳輸至電腦系統26700。
執行根據一或多個實施例的視訊編碼方法以及視訊解碼方法中的至少一者的程式可不僅儲存於圖28或圖29所說明的光碟26000中,而且儲存於記憶卡、ROM卡匣(ROM cassette)或固態磁碟(solid state drive,SSD)中。
下文將描述應用了上述視訊編碼方法以及視訊解碼方法的系統。
圖30為提供內容散佈服務的內容供應系統11000的整體結構的圖式。通訊系統的服務區域劃分為預定大小的小區,且無線基地台11700、11800、11900以及12000分別安裝於此等小區中。
內容供應系統11000包含多個獨立元件。舉例而言,諸如電腦12100、個人數位助理(personal digital assistant,PDA)12200、視訊攝影機12300以及行動電話12500的所述多個獨立元件經由網際網路服務提供商11200、通訊網路11400以及無線基地台11700、11800、11900以及12000而連接至網際網路11100。
然而,內容供應系統11000不限於如圖31所說明的內容供應系統,且多個元件可選擇性連接至所述內容供應系統。多個獨立元件可直接連接至通訊網路11400,而不是經由無線基地台11700、11800、11900以及12000來連接。
視訊攝影機12300為能夠攝取視訊影像的成像元件,例如,數位視訊攝影機。行動電話12500可使用各種協定中的至少一種通訊方法,例如,個人數位通訊(Personal Digital Communications,PDC)、分碼多重存取(Code Division Multiple Access,CDMA)、寬頻分碼多重存取(Wideband-Code Division Multiple Access,W-CDMA)、全球行動通訊系統(Global System for Mobile Communications,GSM)以及個人手持電話系統(Personal Handyphone System,PHS)。
視訊攝影機12300可經由無線基地台11900以及通訊網路11400而連接至串流伺服器11300。串流伺服器11300允許經由視訊攝影機12300自使用者接收的內容經由即時廣播(real-time broadcast)而串流傳輸。可使用視訊攝影機12300或串流伺服器11300來對自視訊攝影機12300接收的內容做編碼。可將由視訊攝影機12300攝取的視訊資料經由電腦12100傳輸至串流伺服器11300。
亦可將由相機12600攝取的視訊資料經由電腦12100傳輸至串流伺服器11300。相機12600為類似於數位相機能夠攝取靜 態影像與視訊影像兩者的成像元件。可使用相機12600或電腦12100來對由相機12600攝取的視訊資料做編碼。執行視訊編碼以及解碼的軟體可儲存於可由電腦12100存取的電腦可讀記錄媒體中,電腦可讀記錄媒體例如為CD-ROM光碟、軟碟(floppy disc)、硬碟機、SSD或記憶卡。
若視訊資料是由內建於行動電話12500中的相機攝取,則可自行動電話12500接收視訊資料。
視訊資料亦可由安裝於視訊攝影機12300、行動電話12500或相機12600中的大型積體電路(large scale integrated circuit,LSI)系統編碼。
內容供應系統11000可對由使用者使用視訊攝影機12300、相機12600、行動電話12500或另一成像元件記錄的內容資料(例如,在音樂會期間記錄的內容)做編碼,且將經編碼的內容資料傳輸至串流伺服器11300。串流伺服器11300可將經編碼的內容資料以串流內容的類型傳輸至請求內容資料的其他用戶端。
用戶端為能夠對經編碼的內容資料做解碼的元件,例如,電腦12100、PDA 12200、視訊攝影機12300或行動電話12500。因此,內容供應系統11000允許用戶端接收並再生經編碼的內容資料。且,內容供應系統11000允許用戶端接收經編碼的內容資料並即時地對經編碼的內容資料做解碼以及再生,藉此實現個人 廣播。
內容供應系統11000中所包含的多個獨立元件的編碼以及解碼操作可類似於根據一或多個實施例的視訊編碼裝置以及視訊解碼裝置的編碼以及解碼操作。
現將參照圖31及圖32更詳細地描述根據一或多個實施例的內容供應系統11000中所包含的行動電話12500。
圖31說明根據一或多個實施例的應用了視訊編碼方法以及視訊解碼方法的行動電話12500的外部結構。行動電話12500可為智慧型電話,其功能不受限制,且其大量功能可被改變或擴展。
行動電話12500包含內部天線12510,可經由內部天線12510而與圖21的無線基地台12000交換射頻(radio-frequency,RF)信號,且行動電話12500包含用於顯示由相機12530攝取的影像或經由天線12510而接收並被解碼的影像的顯示螢幕12520,例如,液晶顯示器(liquid crystal display,LCD)或有機發光二極體(organic light-emitting diode,OLED)螢幕。行動電話12500包含操作面板12540,其包含控制按鈕以及觸控面板。若顯示螢幕12520為觸控螢幕,則操作面板12540更包含顯示螢幕12520的觸摸感測面板。行動電話12500包含用於輸出語音以及聲音的揚聲器12580或另一類型的聲音輸出器,以及用於輸入語音以及聲音的麥克風12550或另一類型的聲音輸入器。行動電話 12500更包含相機12530(諸如,電荷耦合元件(charge-coupled device,CCD)相機)以攝取視訊以及靜態影像。行動電話12500可更包含:儲存媒體12570,用於儲存經編碼/經解碼的資料,例如,由相機12530攝取、經由電子郵件而接收或根據各種方式而獲得的視訊或靜態影像;以及插槽12560,儲存媒體12570經由插槽12560而裝載至行動電話12500中。儲存媒體12570可為快閃記憶體,例如,安全數位(secure digital,SD)卡或包含於塑膠外殼中的電可抹除可程式化唯讀記憶體(electrically erasable and programmable read only memory,EEPROM)。
圖32說明根據一或多個實施例的行動電話12500的內部結構。為了系統地控制包含顯示螢幕12520以及操作面板12540的行動電話12500的多個部分,電力供應電路12700、操作輸入控制器12640、影像編碼器12720、相機介面12630、LCD控制器12620、影像解碼器12690、多工器/解多工器12680、記錄器/讀取器12670、調變器/解調變器12660以及聲音處理器12650經由同步匯流排12730而連接至中央控制器12710。
若使用者操作電源按鈕且自「電源關閉」狀態設定至「電源開啟」狀態,則電力供應電路12700將電力自電池組(battery pack)供應至行動電話12500的所有部分,藉此將行動電話12500設定於操作模式。
中央控制器12710包含中央處理單元(central processing unit,CPU)、ROM以及RAM。
雖然行動電話12500將通訊資料傳輸至外部,但數位資料在中央控制器12710的控制下由行動電話12500產生。舉例而言,聲音處理器12650可產生數位聲音信號,影像編碼器12720可產生數位影像信號,且訊息的文字資料可經由操作面板12540以及操作輸入控制器12640而產生。在數位信號在中央控制器12710的控制下傳輸至調變器/解調變器12660時,調變器/解調變器12660調變數位信號的頻帶,且通訊電路12610對經頻帶調變的數位聲音信號執行數位至類比轉換(DAC)以及頻率轉換。自通訊電路12610輸出的傳輸信號可經由天線12510而傳輸至語音通訊基地台或無線基地台12000。
舉例而言,在行動電話12500處於交談模式時,經由麥克風12550而獲得的聲音信號在中央控制器12710的控制下由聲音處理器12650變換為數位聲音信號。數位聲音信號可經由調變器/解調變器12660以及通訊電路12610而變換為變換信號,且可經由天線12510而傳輸。
當在資料通訊模式中傳輸文字訊息(例如,電子郵件)時,文字訊息的文字資料經由操作面板12540而輸入,且經由操作輸入控制器12640而傳輸至中央控制器12710。在中央控制器12710的控制下,文字資料經由調變器/解調變器12660以及通訊電路12610變換為傳輸信號,且經由天線12510而傳輸至無線基 地台12000。
為了在資料通訊模式中傳輸影像資料,由相機12530攝取的影像資料經由相機介面12630而提供至影像編碼器12720。所攝取的影像資料可經由相機介面12630以及LCD控制器12620直接顯示在顯示螢幕12520上。
影像編碼器12720的結構可對應於根據一或多個實施例的上述視訊編碼方法的視訊編碼裝置的結構。影像編碼器12720可基於根據一或多個實施例的上述視訊編碼方法而將自相機12530接收的影像資料變換為經壓縮且編碼的影像資料,且接著將經編碼的影像資料輸出至多工器/解多工器12680。在相機12530的記錄操作期間,由行動電話12500的麥克風12550獲得的聲音信號可經由聲音處理器12650而變換為數位聲音資料,且所述數位聲音資料可傳輸至多工器/解多工器12680。
多工器/解多工器12680將自影像編碼器12720接收的經編碼的影像資料以及自聲音處理器12650接收的聲音資料一起多工。對資料進行多工的結果可經由調變器/解調變器12660以及通訊電路12610而變換為傳輸信號,且可接著經由天線12510而傳輸。
雖然行動電話12500自外部接收通訊信號,但對經由天線12510而接收的信號執行頻率恢復以及ADC,以將信號變換為數位信號。調變器/解調變器12660調變數位信號的頻帶。經頻帶 調變的數位信號根據數位信號的類型而傳輸至影像解碼單元12690、聲音處理器12650或LCD控制器12620。
在交談模式中,行動電話12500放大經由天線12510而接收的信號,且藉由對經放大的信號執行頻率轉換以及ADC而獲得數位聲音信號。在中央控制器12710的控制下,所接收的數位聲音信號經由調變器/解調變器12660以及聲音處理器12650而變換為類比聲音信號,且所述類比聲音信號經由揚聲器12580而輸出。
在處於資料通訊模式時,接收在網際網路網站處存取的視訊檔案的資料,且將經由天線12510而自無線基地台12000接收的信號經由調變器/解調變器12660作為經多工的資料而輸出,且將經多工的資料傳輸至多工器/解多工器12680。
為了對經由天線12510而接收的經多工的資料做解碼,多工器/解多工器12680將經多工的資料解多工為經編碼的視訊資料串流以及經編碼的音訊資料串流。經由同步匯流排12730而分別將經編碼的視訊資料串流以及經編碼的音訊資料串流提供至影像解碼單元12690以及聲音處理器12650。
影像解碼器12690的結構可對應於根據一或多個實施例的上述視訊解碼方法的視訊解碼裝置的結構。藉由使用根據一或多個實施例的上述視訊解碼方法,影像解碼器12690可對經編碼的視訊資料做解碼以獲得經重新建構的視訊資料且經由LCD控制 器12620而將經重新建構的視訊資料提供至顯示螢幕12520。
因此,在網際網路網站處存取的視訊檔案的資料可顯示於顯示螢幕12520上。同時,聲音處理器12650可將音訊資料變換為類比聲音信號,且將類比聲音信號提供至揚聲器12580。因此,在網際網路網站處存取的視訊檔案中所含有的音訊資料亦可經由揚聲器12580而再生。
行動電話12500或另一類型的通訊終端機可為包含根據一或多個實施例的視訊編碼裝置與視訊解碼裝置兩者的收發終端機,可為僅包含視訊編碼裝置的收發終端機,或可為僅包含視訊解碼裝置的收發終端機。
根據一或多個實施例的通訊系統不限於上文參照圖31所述的通訊系統。舉例而言,圖33說明根據一或多個實施例的使用通訊系統的數位廣播系統。圖33的數位廣播系統可藉由使用根據一或多個實施例的視訊編碼裝置以及視訊解碼裝置而接收經由衛星或地面網路傳輸的數位廣播。
具體而言,廣播站12890藉由使用無線電波而將視訊資料串流傳輸至通訊衛星或廣播衛星12900。廣播衛星12900傳輸廣播信號,且廣播信號經由家用天線12860而傳輸至衛星廣播接收器。在每個家庭中,經編碼的視訊串流可由TV接收器12810、機上盒(set-top box)12870或另一元件解碼並再生。
在根據一或多個實施例的視訊解碼裝置實施於再生裝置 12830中時,再生裝置12830可對記錄於儲存媒體12820(諸如,光碟或記憶卡)上的經編碼的視訊串流進行剖析以及解碼以重新建構數位信號。因此,經重新建構的視訊信號可再生於(例如)監視器12840上。
在連接至用於衛星/地面廣播的天線12860或用於接收有線電視(TV)廣播的電纜天線12850的機上盒12870中,可安裝有根據一或多個實施例的視訊解碼裝置。自機上盒12870輸出的資料亦可再生於TV監視器12880上。
作為另一實例,根據一或多個實施例的視訊解碼裝置可安裝於TV接收器12810而非機上盒12870上。
具有合適天線12910的汽車12920可接收自衛星12900或圖21的無線基地台11700傳輸的信號。經解碼的視訊可再生於安裝於汽車12920中的汽車導航系統12930的顯示螢幕上。
視訊信號可由根據一或多個實施例的視訊編碼裝置編碼且可接著儲存於儲存媒體中。具體而言,影像信號可由DVD記錄器儲存於DVD光碟12960中或可由硬碟記錄器12950儲存於硬碟中。作為另一實例,視訊信號可儲存於SD卡12970中。若硬碟記錄器12950包含根據一或多個實施例的視訊解碼裝置,則DVD光碟12960、SD卡12970或另一儲存媒體上所記錄的視訊信號可再生於TV監視器12880上。
汽車導航系統12930可能不包含圖32的相機12530以及 圖32的相機介面12630及影像編碼器12720。舉例而言,電腦12100以及TV接收器12810可能不包含相機12530、相機介面12630以及影像編碼器12720。
圖34為說明根據一或多個實施例的使用視訊編碼裝置以及視訊解碼裝置的雲端計算系統的網路結構的圖式。
雲端計算系統可包含雲端計算伺服器14000、使用者資料庫(DB)14100、多個計算資源14200以及使用者終端機。
雲端計算系統回應於來自使用者終端機的請求而經由資料通訊網路(例如,網際網路)提供多個計算資源14200的應需委外服務(on-demand outsourcing service)。在雲端計算環境下,服務提供商藉由使用虛擬化技術來組合位於實體上不同位置處的資料中心的計算資源而向使用者提供所要服務。服務使用者並不需要將計算資源(例如,應用程式、儲存器、作業系統(OS)或安全機制)安裝於其自身的終端機上以便進行使用,而是可在所要時間點自經由虛擬化技術而產生的虛擬空間中的服務選擇所要服務並進行使用。
指定服務使用者的使用者終端機經由資料通訊網路(包含網際網路以及行動電信網路)而連接至雲端計算伺服器14000。可自雲端計算伺服器14000對使用者終端機提供雲端計算服務且特定而言視訊再生服務。使用者終端機可為能夠連接至網際網路的各種類型的電子元件,例如,桌上型PC 14300、智慧型TV 14400、智慧型電話14500、筆記型電腦14600、攜帶型多媒體播放器(PMP)14700、平板型PC 14800及其類似者。
雲端計算伺服器14000可組合雲端網路中所分散的多個計算資源14200且向使用者終端機提供組合的結果。多個計算資源14200可包含各種資料服務,且可包含自使用者終端機上傳的資料。如上所述,雲端計算伺服器14000可藉由根據虛擬化技術來組合不同區域中所分散的視訊資料庫而向使用者終端機提供所要服務。
關於已預訂雲端計算服務的使用者的使用者資訊儲存於使用者DB 14100中。使用者資訊可包含使用者的登錄資訊、地址、姓名以及個人信用資訊。使用者資訊可更包含視訊的索引。此處,索引可包含已再生的視訊的清單、正再生的視訊的清單、再生的視訊的暫停點(pausing point)以及其類似者。
關於儲存於使用者DB 14100中的視訊的資訊可在使用者元件之間共用。舉例而言,在視訊服務回應於來自筆記型電腦14600的請求而提供至筆記型電腦14600時,視訊服務的再生歷史儲存於使用者DB 14100中。在自智慧型電話14500接收到對再生此視訊服務的請求時,雲端計算伺服器14000基於使用者DB 14100而搜尋並再生此視訊服務。在智慧型電話14500自雲端計算伺服器14000接收視訊資料串流時,藉由對視訊資料串流做解碼而再生視訊的程序類似於上文參照圖31而描述的行動電話12500 的操作。
雲端計算伺服器14000可參考儲存於使用者DB 14100中的所要視訊服務的再生歷史。舉例而言,雲端計算伺服器14000自使用者終端機接收對再生儲存於使用者DB 14100中的視訊的請求。若正再生此視訊,則由雲端計算伺服器14000執行的串流傳輸此視訊的方法可根據來自使用者終端機的請求(亦即,根據將始於視訊的開始還是其暫停點而再生視訊)而變化。舉例而言,若使用者終端機請求始於視訊的開始而再生視訊,則雲端計算伺服器14000始於視訊的第一畫面而將視訊的資料串流傳輸至使用者終端機。舉例而言,若使用者終端機請求始於視訊的暫停點而再生視訊,則雲端計算伺服器14000始於對應於暫停點的畫面而將視訊的資料串流傳輸至使用者終端機。
在此狀況下,使用者終端機可包含如上文參照圖1A至圖27而描述的視訊解碼裝置。作為另一實例,使用者終端機可包含如上文參照圖1A至圖27而描述的視訊編碼裝置。或者,使用者終端機可包含如上文參照圖1A至圖27而描述的視訊解碼裝置與視訊編碼裝置兩者。
上文已參照圖28至圖34而描述上文參照圖1A至圖27所述的根據一或多個實施例的視訊編碼方法、視訊解碼方法、視訊編碼裝置以及視訊解碼裝置的各種應用。然而,根據各種實施例的將視訊編碼方法以及視訊解碼方法儲存於儲存媒體中的方法 或將視訊編碼裝置以及視訊解碼裝置實施在元件中的方法不限於上文參照圖28至圖34所述的實施例。
如本文中所使用,用語「A可包含a1、a2及a3中的一者」表示部件A可在廣義上包含例示性部件a1、a2或a3。
根據上述用語,部件A可包含的部件未必限於a1、a2或a3。因此,所述用語不是專指可包含於A中的部件除a1、a2及a3外排除未例示的其他部件。
此外,所述用語意謂A可包含a1、a2或a3。所述用語不意謂A中所包含的部件未必選擇性地判定於預定集合中。舉例而言,所述用語不限於解釋選自包含a1、a2及a3的集合的a1、a2或a3必須包含於組件A中。
此外,在本說明書中,用語「a1、a2或(及)a3中的至少一者」意謂a1;a2;a3;a1及a2;a1及a3;a2及a3;以及a1、a2及a3中的一者。
因此,除非明確描述為「a1中的至少一者,a2中的至少一者或(及)a3中的至少一者」,否則用語「a1、a2及a3中的至少一者」不解釋為「a1中的至少一者,a2中的至少一者或(及)a3中的至少一者」。
本發明可寫為電腦程式,且可在使用電腦可讀記錄媒體執行程式的通用數位電腦中實施。電腦可讀記錄媒體的實例包含磁性儲存媒體(例如,ROM、軟碟、硬碟等)以及光學記錄媒體 (例如,CD-ROM或DVD)。
應理解,本文所述的例示性實施例應僅在描述性意義上考慮且並非用於限制目的。每一實施例內的特徵或態樣的描述通常應視為可用於其他實施例中的類似特徵或態樣。
雖然已參照圖式描述了一或多個例示性實施例,但一般熟習此項技術者將理解,在不脫離如由隨附申請專利範圍界定的本發明概念的精神及範疇的情況下,可對例示性實施例進行形式及細節上的各種改變。
11‧‧‧操作
13‧‧‧操作
15‧‧‧操作

Claims (13)

  1. 一種用信號發送取樣自適應偏移(SAO)參數的視訊編碼方法,所述視訊編碼方法包括:在當前編碼的最大寫碼單元(LCU)的解區塊得以執行之前,自視訊的LCU獲得預測資訊;基於所述所獲得的預測資訊而預測所述當前編碼的LCU的SAO參數;以及對所述所預測的SAO參數執行熵編碼,其中所述獲得所述預測資訊包括:在執行所述當前編碼的LCU的所述解區塊之前,獲得另一經編碼的寫碼單元的SAO參數。
  2. 如申請專利範圍第1項所述的視訊編碼方法,其中所述預測所述當前編碼的LCU的所述SAO參數獨立於所述當前編碼的LCU的所述解區塊。
  3. 如申請專利範圍第2項所述的視訊編碼方法,其中所述預測資訊包括包含所述當前編碼的LCU的畫面內的先前編碼的LCU的SAO參數。
  4. 如申請專利範圍第2項所述的視訊編碼方法,其中所述預測資訊包括包含所述當前編碼的LCU的畫面之前的畫面的經編碼的LCU的SAO參數。
  5. 如申請專利範圍第1項所述的視訊編碼方法,其中所述獲得所述預測資訊包括在執行所述當前編碼的LCU的所述解區塊之前獲得經重新建構的像素值,以及 其中所述預測所述SAO參數包括:基於所述像素值而預測所述當前編碼的LCU的所述SAO參數。
  6. 如申請專利範圍第1項所述的視訊編碼方法,其中所述預測資訊包括在所述當前編碼的LCU得以重新建構之前獲得的留數資料、運動向量以及畫面內模式中的至少一者。
  7. 如申請專利範圍第1項所述的視訊編碼方法,更包括:對所述當前編碼的LCU執行解區塊;以及藉由使用被執行所述解區塊的所述當前編碼的LCU來判定SAO參數,其中關於被執行所述解區塊的所述當前編碼的LCU而判定的所述SAO參數用於對後續編碼的LCU執行SAO預測。
  8. 如申請專利範圍第7項所述的視訊編碼方法,其中所述視訊編碼方法是在具有管線結構的級單元中執行,以及其中所述執行所述解區塊以及對所述所預測的SAO參數的熵編碼的所述執行是在同一管線級中並行執行。
  9. 一種用於用信號發送SAO參數的視訊編碼裝置,所述視訊編碼裝置包括:預測資訊預測器,經組態以在當前編碼的最大寫碼單元(LCU)的解區塊得以執行之前,自視訊的LCU獲得預測資訊;SAO參數估計器,經組態以基於所述所獲得的預測資訊而預測所述當前編碼的LCU的SAO參數;以及 編碼器,經組態以對所述所預測的SAO參數執行熵編碼,其中在所述當前編碼的LCU的所述解區塊得以執行之前,所述預測資訊預測器獲得另一經編碼的寫碼單元的SAO參數。
  10. 如申請專利範圍第9項所述的視訊編碼裝置,其中所述預測資訊包括在所述當前編碼的LCU的所述解區塊得以執行之前重新建構的當前LCU的像素值、留數資料、運動向量以及畫面內模式中的至少一者。
  11. 如申請專利範圍第9項所述的視訊編碼裝置,更包括:解區塊器,經組態以對所述當前編碼的LCU執行解區塊;以及SAO判定器,經組態以藉由使用被執行解區塊的所述當前編碼的LCU來判定SAO參數,其中關於被執行解區塊的所述當前編碼的LCU而判定的所述SAO參數用於對後續編碼的LCU執行SAO預測。
  12. 一種用於用信號發送SAO參數的視訊編碼裝置,所述視訊編碼裝置包括:方向性資訊獲得器,用於自視訊的LCU獲得當前編碼的LCU的方向性資訊;邊緣偏移參數判定器,用於基於所述所獲得的方向性資訊而判定所述當前編碼的LCU的邊緣偏移參數;以及編碼器,用於對所述所判定的邊緣偏移參數執行熵編碼。
  13. 一種非暫時性電腦可讀記錄媒體,其上記錄有用於執行如申請專利範圍第1項所述的方法的電腦程式。
TW103114342A 2013-04-19 2014-04-18 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體 TWI552579B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361813757P 2013-04-19 2013-04-19
KR1020140043204A KR102166335B1 (ko) 2013-04-19 2014-04-10 Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Publications (2)

Publication Number Publication Date
TW201507439A TW201507439A (zh) 2015-02-16
TWI552579B true TWI552579B (zh) 2016-10-01

Family

ID=51995677

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103114342A TWI552579B (zh) 2013-04-19 2014-04-18 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體

Country Status (7)

Country Link
US (1) US20140314141A1 (zh)
EP (1) EP2987327A4 (zh)
JP (1) JP6541641B2 (zh)
KR (1) KR102166335B1 (zh)
CN (1) CN105325004B (zh)
TW (1) TWI552579B (zh)
WO (1) WO2014171807A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108055544B (zh) * 2012-07-16 2020-09-08 三星电子株式会社 Sao编码方法和设备以及sao解码方法和设备
FI3005696T3 (fi) * 2013-05-30 2023-08-08 Huawei Tech Co Ltd Siirtymän dynaamisen alueen rajoitukset reunasiirtymän sao-suodatukseen
US10055482B2 (en) * 2014-03-18 2018-08-21 Ntt Docomo Inc. Knowledge engine for managing massive complex structured data
JP2015216626A (ja) * 2014-04-23 2015-12-03 ソニー株式会社 画像処理装置及び画像処理方法
WO2015165030A1 (en) * 2014-04-29 2015-11-05 Microsoft Technology Licensing, Llc Encoder-side decisions for sample adaptive offset filtering
JP6341756B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
EP3203738A4 (en) * 2014-10-31 2017-10-04 Samsung Electronics Co., Ltd. Video encoding method applying multi-offset scheme and apparatus therefor, and video decoding method and apparatus therefor
KR20170078682A (ko) 2014-11-04 2017-07-07 삼성전자주식회사 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP3306928A1 (en) * 2016-10-07 2018-04-11 Thomson Licensing Method and apparatus for encoding a video
CN110583017B (zh) * 2017-04-28 2023-10-31 英迪股份有限公司 图像编码/解码方法和装置、以及存储比特流的记录介质
KR20190067732A (ko) * 2017-12-07 2019-06-17 한국전자통신연구원 채널들 간의 선택적인 정보 공유를 사용하는 부호화 및 복호화를 위한 방법 및 장치
GB2574424A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
GB2574422A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
GB2574421A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
KR20210004702A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
US11800124B2 (en) 2020-07-28 2023-10-24 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
WO2022035687A1 (en) * 2020-08-13 2022-02-17 Beijing Dajia Internet Information Technology Co., Ltd. Chroma coding enhancement in cross-component sample adaptive offset
CN115002471B (zh) * 2022-05-27 2024-08-09 武汉理工大学 基于鲁棒自适应dac码的分布式视频编码及解码方法和系统
WO2024094042A1 (en) * 2022-11-01 2024-05-10 Douyin Vision Co., Ltd. Using side information for bilateral filter in video coding
WO2024094066A1 (en) * 2022-11-01 2024-05-10 Douyin Vision Co., Ltd. Using side information for sample adaptive offset in video coding

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200952493A (en) * 2008-02-21 2009-12-16 Qualcomm Inc Two pass quantization for CABAC coders
CN102742275A (zh) * 2010-06-15 2012-10-17 联发科技股份有限公司 用于视频编解码的自适应偏移装置及方法
US20120287988A1 (en) * 2011-05-10 2012-11-15 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20130022103A1 (en) * 2011-06-22 2013-01-24 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimationfor image and video coding
US20130051454A1 (en) * 2011-08-24 2013-02-28 Vivienne Sze Sample Adaptive Offset (SAO) Parameter Signaling
TW201315242A (zh) * 2011-09-27 2013-04-01 Broadcom Corp 用於操作通訊裝置的視訊編碼器的裝置和方法
TW201315236A (zh) * 2011-09-29 2013-04-01 Mstar Semiconductor Inc 布林熵解碼器及影像播放系統之布林熵解碼方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9357235B2 (en) * 2011-10-13 2016-05-31 Qualcomm Incorporated Sample adaptive offset merged with adaptive loop filter in video coding
WO2013053324A1 (en) * 2011-10-14 2013-04-18 Mediatek Inc. Method and apparatus for loop filtering
CN103051892B (zh) * 2011-10-14 2015-12-09 联发科技股份有限公司 内嵌式回路滤波方法以及内嵌式回路滤波装置
CN103843350A (zh) * 2011-10-14 2014-06-04 联发科技股份有限公司 回路滤波方法及其装置
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
WO2014047776A1 (en) * 2012-09-25 2014-04-03 Intel Corporation Inter-layer sample adaptive filter parameters re-use for scalable video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200952493A (en) * 2008-02-21 2009-12-16 Qualcomm Inc Two pass quantization for CABAC coders
CN102742275A (zh) * 2010-06-15 2012-10-17 联发科技股份有限公司 用于视频编解码的自适应偏移装置及方法
US20120287988A1 (en) * 2011-05-10 2012-11-15 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
US20130022103A1 (en) * 2011-06-22 2013-01-24 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimationfor image and video coding
US20130051454A1 (en) * 2011-08-24 2013-02-28 Vivienne Sze Sample Adaptive Offset (SAO) Parameter Signaling
TW201315242A (zh) * 2011-09-27 2013-04-01 Broadcom Corp 用於操作通訊裝置的視訊編碼器的裝置和方法
TW201315236A (zh) * 2011-09-29 2013-04-01 Mstar Semiconductor Inc 布林熵解碼器及影像播放系統之布林熵解碼方法

Also Published As

Publication number Publication date
KR20140126246A (ko) 2014-10-30
JP2016521061A (ja) 2016-07-14
EP2987327A1 (en) 2016-02-24
EP2987327A4 (en) 2016-12-28
JP6541641B2 (ja) 2019-07-10
CN105325004B (zh) 2019-06-11
US20140314141A1 (en) 2014-10-23
KR102166335B1 (ko) 2020-10-15
CN105325004A (zh) 2016-02-10
TW201507439A (zh) 2015-02-16
WO2014171807A1 (en) 2014-10-23

Similar Documents

Publication Publication Date Title
TWI552579B (zh) 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體
TWI532368B (zh) 視訊解碼裝置
TWI519135B (zh) 視訊解碼裝置
TWI625962B (zh) 取樣自適應偏移解碼方法
TWI604721B (zh) 畫面間預測的運動向量預測方法與裝置
TW201325247A (zh) 在視訊解碼的反量化及逆轉換期間實現資料修剪的逆轉換方法及設備
KR20160138130A (ko) 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
TWI605702B (zh) 視訊解碼裝置
US10313699B2 (en) Method and apparatus for parallel video decoding based on multi-core system

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees