TWI635740B - 平行化階層式無失真壓縮方法及其架構 - Google Patents
平行化階層式無失真壓縮方法及其架構 Download PDFInfo
- Publication number
- TWI635740B TWI635740B TW106119426A TW106119426A TWI635740B TW I635740 B TWI635740 B TW I635740B TW 106119426 A TW106119426 A TW 106119426A TW 106119426 A TW106119426 A TW 106119426A TW I635740 B TWI635740 B TW I635740B
- Authority
- TW
- Taiwan
- Prior art keywords
- block
- bit
- image
- complex
- hierarchical
- Prior art date
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本發明提出一種平行化階層式無失真壓縮方法及其架構，該方法包括藉由一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成複數4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描；藉由一平行化階層式預測裝置，計算出複數基礎像素及一影像差值；藉由一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍；以及藉由一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流。
Description
本發明係關於一種平行化階層式無失真壓縮方法及其架構。
近年來，在生活周遭多媒體通訊(multimedia communication)上的需求不斷的增加。在多媒體產業上，高畫質早已是不可或缺的趨勢，從早期的VCD (352 × 240, 240p)到藍光DVD (720 × 480, 480p)和現今主流的Full-HD，以及逐漸開始普及的QFHD (3840 × 2160p)，畫面解析度是以跳躍性的方式迅速成長，其中，所謂的QFHD解析度更是現今主流的Full-HD (1920 × 1080, 1080p)的4倍之多，在這個發展趨勢中，視訊編碼標準開始在多媒體通訊的應用中扮演起重要的角色。
在各種實際應用中，高效率視頻編碼(High Efficiency Video Coding, HEVC)是一種很傑出的視訊編碼標準，它可以實現並足以應付未來次世代的超高畫質的編碼效率。
然而，超高的解析度使現今的視頻編碼系統遭受兩個設計上挑戰：(1)大量且複雜的計算及(2)巨大的記憶體頻寬。繁複的計算問題可以透過硬體架構設計及先進半導體製程來處理。但是，記憶體的頻寬過大則會嚴重的影響到硬體成本以及功率消耗。因此，超高的解析度會導致在視頻編碼系統中以及於記憶體頻寬上的嚴重瓶頸。以Full-HD解析度的編解碼系統為例，它的記憶體之傳輸頻寬高達878MB/s(約7Gbps)，這種大量的記憶體存取將導致系統的匯流排壅塞(bus congestion)，以至於消耗大量功率，本發明就是要針對上述問題進行解決及突破。
鑒於前述之習知技術的缺點，本發明之主要目的係提供一種圖框速率提升轉換方法及期架構， 採用預測即補償的方式，大幅提升了預測精準度。
為達到前述之目的，本發明提出一種平行化階層式無失真壓縮(Parallel and Hierarchical Lossless Recompression, PHLR)方法，包括以下步驟：藉由一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成四4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描；藉由一平行化階層式預測裝置，計算出複數基礎像數(base pixel)及一影像差值(residual)；藉由一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)；以及藉由一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)。
另外，本發明亦提出一種平行化階層式無失真壓縮架構，其包括：一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成四4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描；一平行化階層式預測裝置，計算出複數基礎像數(base pixel)及一影像差值(residual)；一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)；以及一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)。
以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本發明說明書中的各項細節亦可基於不同觀點與應用在不悖離本發明之精神下進行各種修飾與變更。
須知，本說明書所附圖式繪示之結構、比例、大小等，均僅用以配合說明書所揭示之內容，以供熟悉此技術之人士瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應落在本發明所揭示之技術內容得能涵蓋之範圍內。
以下依據本發明之實施例，描述一種平行化階層式無失真壓縮(Parallel and Hierarchical Lossless Recompression, PHLR)方法，該方法包括兩個核心部分：一平行化階層式預測(Parallel and Hierarchical Prediction)以及一二位元編碼(binary code)，此方法可以有效率地得到高效的殘餘(residual)，而二位元編碼則可以將其轉換成有效的字碼(code word)，從實驗結果中顯示，本發明所提出的方法可有效地將影像畫面所需的記憶體頻寬減少56%。
在平行化階層式預測部分，首先，將畫面分割成數個4x4的區塊，在將區塊中的中心點取平均值Base Pixel，在將向下計算出差值，之後在由中心區塊向外延伸，如圖1 所示，公式可表示如下：
(水平) (1)
(垂直) (2) 其中，R表示差值，P表示當前畫素(current pixel)，i為水平方向，j則為垂直方向。
本發明之平行化階層式預測部分的好處為在硬體實現上，可有效地實現平行化處理，可大幅地減少clock cycle，如此一來，便可大幅的提升硬體上的吞吐量，如圖2A所示，一般的DPCM預測方式在一4x4區塊中，至少要6個clock cycle才能完全解碼完一區塊，但本發明所提出的平行化階層式預測部分只需3個clock cycle便可將一4x4區塊解碼完成，如圖2B所示。
再者，將4x4區塊擴張為8x8區塊，如圖3所示，將四4x4區塊合併為一8x8區塊，其中，在將四4x4區塊中之基礎像數(base pixel)合併後取平均求出TOP基礎像數(TOP base pixel)，這樣的作法可以有效地降低起始位元(head bit)，以提升壓縮率。
一般而言，在視訊圖像中，差值(residual)會呈現一個雙向幾何分布(geometric distribution)，如圖4所示，越接近零點，差值所出現的機率就越高，所已將影像差值以統計方式呈現。圖4顯示以一種雙邊幾和分布(two-sided geometric distribution, TSGD)的型態表示，其中，ε表示差值，並與θ成正比，θ∈(0,1)控制雙邊的指數衰退率。一般的機率模型包含一偏移參數(offset parameter)u，分為整數與小數部分R與s，所以令
(3) 其中，0≤s≤1，再以差值定義TSGD 公式如下：
, ε=0, ±1, ±2, …. (4) 其中在將C(θ,s)定義為
, 0 ＜ θ ＜ 1 (5)
由圖4可知，差值在越接近零點時，其分布越多，也就是說，出現機率越高，所以在制定編碼方式時，應以0為中心向外擴張，越靠近0的差值以越少的位元編碼，如此才能將壓縮率作出一個有效的提升。
另一方面，本發明所提出的二位元編碼是一種能有效地配合上述之影像差值之TSGD分布，將出現率最高的0為中心向外延伸，以中心點用最少的位元數，以有效的提升壓縮率。在本發明之編碼中，將一4x4區塊當作一組區塊，然後每一區塊都先以上述之平行化階層式預測部分，將該區塊中所有的差值求出，並將所有的差值作remapping的動作，這可以將所有要編碼的差值變為正數，方便後端編碼，公式可表示如下： residual ≧ 0, final residual = residual × 2 (6) residual ＜ 0, final residual = (residual × 2)-1 (7)
之後可以看到每一組區塊都有一組起始位元(head bit)，這組起始位元表示該組中每個差值的有效編碼位元，起始位元的編碼如圖5所示，當該區塊中全部的差值都符合表1中的表示範圍(expressible range, ER)，選擇其中的bit length head (BLH)當作該組的起始位元。在定義每組的位元長度group bit length (GBL)如下： GBL = BLH + SBL × n (8) 表1：二位元編碼表
<TABLE border="1" borderColor="#000000" width="85%"><TBODY><tr><td> 4×4 區塊 </td><td> 8×8 區塊 </td></tr><tr><td> BLH (4-bit) </td><td> 預測差值的表示範圍 </td><td> 總位元 (total bit) </td><td> BLH (4-bit) </td><td> 預測差值的表示範圍 </td><td> 總位元 (total bit) </td></tr><tr><td> 0000 </td><td> 0 </td><td> 0 </td><td> 1001 </td><td> 0 </td><td> 0 </td></tr><tr><td> 0001 </td><td> 0~1 </td><td> 16 </td><td> 1010 </td><td> 0~1 </td><td> 16 </td></tr><tr><td> 0010 </td><td> 0~3 </td><td> 16×2 </td><td> 1011 </td><td> 0~2 </td><td> ＜16×2 </td></tr><tr><td> 0011 </td><td> 0~7 </td><td> 16×3 </td><td> 1100 </td><td> 0~3 </td><td> 16×2 </td></tr><tr><td> 0100 </td><td> 0~15 </td><td> 16×4 </td><td> 1101 </td><td> 0~7 </td><td> 16×3 </td></tr><tr><td> 0101 </td><td> 0~31 </td><td> 16×5 </td><td> 1110 </td><td> 0~15 </td><td> 16×4 </td></tr><tr><td> 0110 </td><td> 0~63 </td><td> 16×6 </td><td> 1111 </td><td> 超過127 </td><td> 16×8 </td></tr><tr><td> 0111 </td><td> 0~127 </td><td> 16×7 </td><td> </td><td> </td><td> </td></tr><tr><td> 1000 </td><td> 超過127 </td><td> 16×8 </td><td> </td><td> </td><td> </td></tr></TBODY></TABLE>其中，n為該組的差值數量，SBL (significant bit length)為該組有效位元的長度。例如，差值的表示範圍(ER)在0至15之間，表示BLH為0101，同時也表示了有效位元為4個bit，所以就砍掉了前面5個位元留下了後面4個位元，表示輸出的結果為最前面的起始位元0101加上後面4×n個bit數，計算出的結果表示該組的GBL。另外，若基礎像數總合為12以上，在編碼時，將會以4x4區塊為基準劃分group，如圖5所示，整個二位元編碼的編碼流程。由圖5可知，一8x8區塊包含四基礎像數(看作同一group)，其他全部為差值(residual)，將所有的residual分配完該組位置後，將進行表示範圍(ER)的選擇及二位元編碼，最後完成輸出一位元流(bitstream)。在8x8區塊中，則是將與TOP基礎像素合併為一group，剩下其餘差值看作同一個group，如圖6所示，如此一來便可達到減少起始位元的好處。
以8x8區塊編碼可以有效地減少起始位元，但有時區塊過大，有可能會導致單一像素的差值造成整個區塊的壓縮率下降，如圖7所示。所以需要將區塊分為4x4與8x8兩種處理方式。
關於本發明之平行化階層式無失真壓縮(Parallel and Hierarchical Lossless Recompression, PHLR)方法的詳細運算流程，如圖8所示，該方法包括以下步驟S81~S87： 步驟S81：藉由一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成複數4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描； 步驟S83：藉由一平行化階層式預測裝置，計算出複數基礎像素(base pixel)及一影像差值(residual)； 步驟S85：藉由一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)；以及 步驟S87：藉由一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)。
此外，本發明亦提出一種平行化階層式無失真壓縮架構，其主要硬體架構區塊如圖9所示，該硬體架構包括：一移位暫存器11，將來自視訊資料(video data)10之一影像畫面切成一8×8區塊，並將該8×8區塊切成複數4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描；一平行化階層式預測裝置12，計算出複數基礎像數(base pixel)13及一影像差值(residual)(未顯示於圖式中)；一二位元編碼器14，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)15；以及一移位器16，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)17。
本發明之平行化階層式無失真壓縮架構以特殊應用積體電路(Application-Specific Integrated Circuit, ASIC)及場式可程式化邏輯閘陣列(Field Programmable Gate Array, FPGA)方式來實現，在ASIC方式中，以Verilog硬體描述語言實現本發明之平行化階層式無失真壓縮的硬體架構，並使用TSMC 0.18um製程；在FPGA方式中，以Spartan 6為核心來實現本發明之平行化階層式無失真壓縮架構的硬體。
綜上所述，本發明採用平行化階層式預測及二位元編碼的作法，大幅減少運算量，並且實驗結果顯示可將影像畫面所需傳輸的資料量有效的減少56%。
儘管已參考本申請的許多說明性實施例描述了實施方式，但應瞭解的是，本領域技術人員能夠想到多種其他改變及實施例，這些改變及實施例將落入本公開原理的精神與範圍內。尤其是，在本公開、圖式以及所附申請專利的範圍之內，對主題結合設置的組成部分及/或設置可作出各種變化與修飾。除對組成部分及/或設置做出的變化與修飾之外，可替代的用途對本領域技術人員而言將是顯而易見的。
10‧‧‧視訊資料
11‧‧‧移位暫存器
12‧‧‧平行化階層式預測裝置
13‧‧‧基礎像數
14‧‧‧二位元編碼器
15‧‧‧表示範圍
16‧‧‧移位器
17‧‧‧位元流
S81~87‧‧‧步驟
圖1係顯示本發明之的平行化階層式預測(Parallel and Hierarchical Prediction)的方向之示意圖； 圖2A,B係顯示傳統預測所需的clock cycle及本發明預測所需的clock cycle之示意圖； 圖3係顯示本發明之8×8區塊的平行化階層式預測之示意圖； 圖4係顯示雙邊幾何分布Two-sided Geometric Distribution (TSGD)之分布圖； 圖5係顯示本發明之4×4區塊之二位元編碼流程圖； 圖6係顯示本發明之8×8區塊之二位元編碼流程圖； 圖7係顯示本發明之4×4區塊及8×8區塊之二位元編碼流程圖； 圖8係顯示本發明之一種平行化階層式無失真壓縮方法之流程圖；以及 圖9係顯示本發明之一種平行化階層式無失真壓縮硬體架構之方塊圖。
Claims (4)
- 一種平行化階層式無失真壓縮(Parallel and Hierarchical Lossless Recompression,PHLR)方法，包括以下步驟：藉由一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成複數4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描；藉由一平行化階層式預測裝置，計算出複數基礎像素(base pixel)及一影像差值(residual)；藉由一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)；以及藉由一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)。
- 如申請專利範圍第1項所述之平行化階層式無失真壓縮方法，其中，若選擇以8×8區塊方式來進行二位元編碼，則將該複數4×4區塊中的該複數基礎像數合併後以平均方式計算出一TOP基礎像數(TOP base pixel)，並將該複數基礎像數及該TOP基礎像數合併為一組(group)。
- 一種平行化階層式無失真壓縮(Parallel and Hierarchical Lossless Recompression,PHLR)架構，包括：一移位暫存器，將一影像畫面切成一8×8區塊，並將該8×8區塊切成複數4×4區塊，其中，以每一4×4區塊之中間四區塊分別為四中心點，進行掃描； 一平行化階層式預測裝置，計算出複數基礎像數(base pixel)及一影像差值(residual)；一二位元編碼器，選擇以4×4區塊方式或8×8區塊方式來進行二位元編碼，並將該影像差值進行二位元編碼，且計算出一有效位元表示範圍(expressible range)；以及一移位器，將該有效位元表示範圍、該複數基礎像數及經該二位元編碼器後之二位元碼進行移位編排，以輸出一位元流(bitstream)。
- 如申請專利範圍第3項所述之平行化階層式無失真壓縮架構，其中，若選擇以8×8區塊方式來進行二位元編碼，則將複數4×4區塊中的該複數基礎像數合併後以平均方式計算出一TOP基礎像數(TOP base pixel)，並將該複數基礎像數及該TOP基礎像數合併為一組(group)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106119426A TWI635740B (zh) | 2017-06-12 | 2017-06-12 | 平行化階層式無失真壓縮方法及其架構 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106119426A TWI635740B (zh) | 2017-06-12 | 2017-06-12 | 平行化階層式無失真壓縮方法及其架構 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI635740B true TWI635740B (zh) | 2018-09-11 |
| TW201904283A TW201904283A (zh) | 2019-01-16 |
Family
ID=64453049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106119426A TWI635740B (zh) | 2017-06-12 | 2017-06-12 | 平行化階層式無失真壓縮方法及其架構 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI635740B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130051472A1 (en) * | 2007-01-18 | 2013-02-28 | Thomas Wiegand | Quality Scalable Video Data Stream |
| US8699583B2 (en) * | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
| US8855199B2 (en) * | 2008-04-21 | 2014-10-07 | Nokia Corporation | Method and device for video coding and decoding |
-
2017
- 2017-06-12 TW TW106119426A patent/TWI635740B/zh not_active IP Right Cessation
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8699583B2 (en) * | 2006-07-11 | 2014-04-15 | Nokia Corporation | Scalable video coding and decoding |
| US20130051472A1 (en) * | 2007-01-18 | 2013-02-28 | Thomas Wiegand | Quality Scalable Video Data Stream |
| US8855199B2 (en) * | 2008-04-21 | 2014-10-07 | Nokia Corporation | Method and device for video coding and decoding |
Non-Patent Citations (2)
| Title |
|---|
| Abdelazim, A.; Hamza, A.M.，"Adaptive hierarchical motion estimation optimization for scalable HEVC"， GCC Conference and Exhibition (GCCCE), 2015 IEEE 8th, Issue Date: 1-4 Feb. 2015. * |
| Yi-Hau Chen等人，"BANDWIDTH-EFFICIENT ENCODER FRAMEWORK FOR H.264/AVC SCALABLE EXTENSION"，Published in: Multimedia Workshops, 2007. ISMW '07. Ninth IEEE International Symposium on ,Date of Conference: 10-12 Dec. 2007 * |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201904283A (zh) | 2019-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020253828A1 (zh) | 一种编解码方法、装置及存储介质 | |
| CA2797569C (en) | Method and device for video predictive encoding | |
| US10819994B2 (en) | Image encoding and decoding methods and devices thereof | |
| WO2020119449A1 (zh) | 色度块的预测方法和装置 | |
| WO2020140700A1 (zh) | 色度块的预测方法和装置 | |
| TWI387314B (zh) | Image processing apparatus and method thereof | |
| CN104967852A (zh) | 通过帧内预测来对图像进行编码和解码的方法和设备 | |
| CN103931180A (zh) | 图像解码设备 | |
| TWI841584B (zh) | 擴展四叉樹分割的邊界處理 | |
| JP2006304102A (ja) | 画像符号化ユニットと画像符号化方法 | |
| CN103096092B (zh) | 基于颜色空间变换进行编解码误差修正的方法和系统 | |
| WO2019076344A1 (zh) | 编码单元的参考块选择方法、装置、电子设备及存储介质 | |
| CN109874012B (zh) | 一种视频编码方法、编码器、电子设备及介质 | |
| WO2012142934A1 (zh) | 使用空间缩放预测的视频编解码方法 | |
| CN105306957A (zh) | 自适应环路滤波方法和设备 | |
| WO2020038378A1 (zh) | 色度块预测方法及装置 | |
| CN110392265B (zh) | 帧间运动估计方法、装置、电子设备及可读存储介质 | |
| CN105992000B (zh) | 影像流的处理方法及其影像处理装置 | |
| TWI734501B (zh) | 視訊編解碼的方法和裝置 | |
| TWI635740B (zh) | 平行化階層式無失真壓縮方法及其架構 | |
| CN113068030B (zh) | 视频图像分量预测方法及装置、计算机存储介质 | |
| WO2021164014A1 (zh) | 视频编码方法及装置 | |
| CN116320446A (zh) | 视频编码方法及装置、电子设备和计算机介质 | |
| WO2019141007A1 (zh) | 图像编码中的预测方向选取方法、装置和存储介质 | |
| CN113259675B (zh) | 一种超高清晰度视频图像并行处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |