TWI827579B - 影像處理裝置 - Google Patents

影像處理裝置 Download PDF

Info

Publication number
TWI827579B
TWI827579B TW108102299A TW108102299A TWI827579B TW I827579 B TWI827579 B TW I827579B TW 108102299 A TW108102299 A TW 108102299A TW 108102299 A TW108102299 A TW 108102299A TW I827579 B TWI827579 B TW I827579B
Authority
TW
Taiwan
Prior art keywords
data
image data
mode
compressed
processing device
Prior art date
Application number
TW108102299A
Other languages
English (en)
Other versions
TW201941600A (zh
Inventor
全聖浩
朴昶洙
宋紋圭
李慶九
李佶桓
張爀在
鄭暻娥
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW201941600A publication Critical patent/TW201941600A/zh
Application granted granted Critical
Publication of TWI827579B publication Critical patent/TWI827579B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本發明提供一種影像處理裝置，經組態以壓縮第一影像資料。影像處理裝置包含編碼電路，編碼電路經組態以將第一影像資料壓縮成包含預測資料及殘餘資料的第二影像資料，藉由對第二影像資料執行熵編碼來將第二影像資料壓縮成第三影像資料，生成表示第三影像資料的壓縮比的標頭，以及將第三影像資料連同標頭一起作為經壓縮第一影像資料儲存於記憶體裝置中。

Description

影像處理裝置 相關申請案的交叉參考
本申請案主張在韓國智慧財產局於2018年1月26日申請的韓國專利申請案第10-2018-0010183號、於2018年2月8日申請的韓國專利申請案第10-2018-0015932號以及於2018年4月10日申請的韓國專利申請案第10-2018-0041790號的權益及優先權，所述申請案的揭露內容以全文引用的方式併入本文中。
本發明是關於一種影像處理裝置。
越來越多的應用需要高解析度的視訊影像及高訊框率(high-frame rate)的影像。因此，藉由影像處理裝置的各種多媒體智慧財產權(intellectual property；IP)區塊儲存這些影像的記憶體(亦即，帶寬(bandwidth))的資料存取量已大大增加。
每一影像處理裝置具有有限的處理能力。當帶寬增加時，影像處理裝置的處理能力可能達到此極限。因此，影像處理裝置的使用者可能在記錄或播放視訊影像時遇到速度降低。
本發明概念的至少一個實施例提供一種具有經改良處理速度的影像處理裝置。
根據本發明概念的例示性實施例，提供一種影像處理裝置，經組態以壓縮第一影像資料。所述影像處理裝置包含編碼電路，所述編碼電路經組態以將第一影像資料壓縮成包括預測資料及殘餘資料的第二影像資料，藉由對第二影像資料執行熵編碼將第二影像資料壓縮成第三影像資料，生成表示第三影像資料的壓縮比的標頭，以及將第三影像資料連同標頭一起作為經壓縮第一影像資料儲存於記憶體裝置中。
根據本發明概念的例示性實施例，提供一種影像處理裝置，經組態以壓縮第一影像資料。所述影像處理裝置包含編碼電路，所述編碼電路具有：模式選擇電路，經組態以基於接收到的訊號來判定是將第一模式設定為無損壓縮模式還是有損壓縮模式；第一邏輯電路，經組態以將第一影像資料壓縮成包括預測資料及殘餘資料的第二影像資料；第二邏輯電路，經組態以使用至少一個量化參數(quantization parameter；QP)來量化所述第二影像資料；以及第三邏輯電路，經組態以對i)在將第一模式設定為無損壓縮模式時的第一邏輯電路的輸出及ii)在將第一模式設定為有損壓縮模式時的第二邏輯電路的輸出中的一者執行熵編碼。
根據本發明概念的例示性實施例，提供一種影像處理裝置，經組態以對第一經壓縮影像資料進行解壓縮。所述影像處理裝置包含：模式選擇電路，經組態以在以無損方式壓縮第一經壓縮影像資料時將第一模式設定為無損解壓縮，且在以有損方式壓縮第一經壓縮影像資料時將第一模式設定為有損解壓縮；第一邏輯電 路，對第一經壓縮影像資料執行熵解碼；第二邏輯電路，在將第一模式設定為有損解壓縮時對第一邏輯電路的輸出執行逆量化；以及第三邏輯電路，經組態以在將第一模式設定為無損解壓縮時藉由向第一邏輯電路的輸出中所接收的預測資料添加殘餘資料來進行解壓縮，且在將第一模式設定為有損解壓縮時藉由向第二邏輯電路的輸出中所接收的預測資料添加殘餘資料來進行解壓縮。
100:多媒體智慧財產權
110:影像訊號處理器
120:抖動校正模組
130:多格式編解碼器
140:圖形處理單元
150:顯示器
200:訊框緩衝壓縮器
210:編碼器
211:預測模組
213:量化模組
215:熵編碼模組
217:填補模組
218:壓縮管理器
219:模式選擇器
220:解碼器
221:預測補償模組
223:逆量化模組
225:熵解碼模組
227:未填補模組
228:解壓縮管理器
229:模式選擇器
300:記憶體
400:系統匯流排
Cb:第一色度訊號區塊
Cr:第二色度訊號區塊
Y:明度訊號區塊
Figure 108102299-A0305-02-0033-47
:級聯模式
Figure 108102299-A0305-02-0033-48
:部分級聯模式
Figure 108102299-A0305-02-0033-49
:分離模式
本發明將藉由參考隨附圖式詳細地描述其例示性實施例而變得顯而易見，其中：
圖1為根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
圖2為圖1中所說明的訊框緩衝壓縮器(frame buffer compressor；FBC)的詳細方塊圖。
圖3為圖2中所說明的編碼器的詳細方塊圖。
圖4為圖2中所說明的解碼器的詳細方塊圖。
圖5為用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 420格式資料的三種操作模式的概念圖。
圖6為用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 422格式資料的三種操作模式的概念圖。
圖7說明藉由根據本發明概念的例示性實施例的影像處理裝置進行無損壓縮的資料的結構。
圖8為用於解釋圖7的經無損壓縮資料的壓縮方法的表。
圖9說明藉由根據本發明概念的例示性實施例的影像處理裝 置進行無損壓縮的資料的結構。
圖10為用於解釋圖9的經無損壓縮資料的壓縮方法的表。
圖11說明藉由根據本發明概念的例示性實施例的影像處理裝置進行無損壓縮的資料的結構。
圖12說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
圖13說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
圖14說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
圖15說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
圖16為根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
圖17為根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
現將參看圖1至圖14描述根據本發明概念的例示性實施例的影像處理裝置。
圖1為根據本發明概念的至少一個實施例的影像處理裝置的方塊圖。
參看圖1，根據本發明概念的至少一個實施例的影像處理裝置包含多媒體智慧財產權(IP)100(例如，IP核心及IP區塊、 電路等)、訊框緩衝壓縮器(frame buffer compressor；FBC)200(例如，電路、數位訊號處理器等)、記憶體300以及系統匯流排400。
在一例示性實施例中，多媒體IP 100為影像處理裝置的直接執行影像處理裝置的影像處理的部分。多媒體IP 100可包含用於執行影像記錄及重現(諸如對視訊影像進行攝錄影、回放等)的多個模組。
多媒體IP 100自諸如攝影機的外部裝置接收第一資料(例如，影像資料)且將第一資料轉換成第二資料。舉例而言，第一資料可為移動原始影像資料或原始靜態影像資料。第二資料可為由多媒體IP 100生成的資料，且亦可包含由處理第一資料的多媒體IP 100產生的資料。多媒體IP 100可反覆地將第二資料儲存於記憶體300中且經由各種步驟來更新第二資料。第二資料可包含這些步驟中使用的所有資料。第二資料可以第三資料的形式儲存於記憶體300中。因此，第二資料可為在儲存於記憶體300中之前或自記憶體300讀取之後的資料。
在一例示性實施例中，多媒體IP 100包含影像訊號處理器(image signal processor；ISP)110、抖動校正模組(shake correction module；G2D)120、多格式編解碼器(multi-format codec；MFC)130、圖形處理單元(graphics processing unit；GPU)140以及顯示器150。然而，本發明概念不限於此情況。亦即，多媒體IP 100可包含上文所描述的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的至少一者。換言之，可藉由處理模組來實施多媒體IP 100，所述處理模組必須對記憶體300進行存取以便處 理表示移動影像或靜態影像的資料。
ISP 110接收第一資料且藉由對第一資料進行預處理來將第一資料轉換成第二資料。此處，第一資料可為呈RGB格式的影像源資料。舉例而言，ISP 110可將呈RGB格式的第一資料轉換成呈YUV格式的第二資料。
RGB格式是指基於光的三個原色來表示色彩的資料格式。亦即，使用三種類型的顏色(亦即，紅色、綠色以及藍色)來表示影像。另一方面，YUV格式是指獨立地表示亮度(亦即，明度訊號)及色度訊號的資料格式。亦即，Y指示明度訊號，且U(Cb)及V(Cr)分別指示色度訊號。U指示明度訊號與藍色訊號分量之間的差，且V指示明度訊號與紅色訊號分量之間的差。此處，可將項目Y、項目U(Cb)以及項目V(Cr)限定為平面。舉例而言，關於明度訊號的資料可稱為Y平面的資料，且關於色度訊號的資料可稱為U(Cb)平面的資料或V(Cr)平面的資料。
可藉由使用轉換公式轉換呈RGB格式的資料來獲得呈YUV格式的資料。舉例而言，可使用轉換公式(諸如Y=0.3R+0.59G+0.11B、U=(B-Y)×0.493，V=(R-Y)×0.877)來將RGB格式的資料轉換成YUV格式的資料。
由於人眼對明度訊號敏感但對色彩訊號不太敏感，因此壓縮呈YUV格式的資料可比壓縮呈RGB格式的資料更為容易。因此，ISP 110可將呈RGB格式的第一資料轉換成呈YUV格式的第二資料。
在ISP 110將第一資料轉換成第二資料之後，所述ISP將第二資料儲存於記憶體300中。
G2D 120可對影像資料或移動影像資料執行抖動校正。G2D 120可讀取儲存於記憶體300中的第一資料或第二資料以執行抖動校正。此處，抖動校正是指偵測攝影機在移動影像資料中的抖動並移除抖動。
G2D 120可藉由校正第一資料或第二資料中的抖動來生成新的第二資料或更新第二資料，且可將所生成或經更新的第二資料儲存於記憶體300中。
MFC 130可為用於壓縮移動影像資料的編解碼器。一般而言，移動影像資料的大小極大。因此，需要用於減小移動影像資料的大小的壓縮模組。可基於多個訊框之間的相聯關係來壓縮移動影像資料，且可由MFC 130執行此壓縮。MFC 130可讀取及壓縮第一資料或可讀取及壓縮儲存於記憶體300中的第二資料。
MFC 130可藉由壓縮第一資料或第二資料來生成新的第二資料或更新第二資料，且將新的第二資料或經更新的第二資料儲存於記憶體300中。
GPU 140可執行算術過程以計算及生成二維或三維圖形。GPU 140可計算第一資料或計算儲存於記憶體300中的第二資料。GPU 140可專門處理圖形資料且可並行處理圖形資料。
GPU 140可藉由壓縮第一資料或第二資料來生成新的第二資料或更新第二資料，且將新的第二資料或經更新的第二資料儲存於記憶體300中。
顯示器150可將儲存於記憶體300中的第二資料顯示於螢幕上。顯示器150可將影像資料(亦即，由多媒體IP 100的其他元件處理的第二資料)顯示於螢幕上，所述其他元件亦即ISP 110、G2D 120、MFC 130以及GPU 140。然而，本發明概念不限於此情況。
可單獨地操作多媒體IP 100的1SP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者。亦即，ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者可單獨地對記憶體300進行存取以寫入或讀取資料。
在一實施例中，FBC 200藉由在多媒體IP 100的元件單獨地對記憶體300進行存取之前壓縮第二資料來將第二資料轉換成第三資料。FBC 200可將第三資料傳輸至多媒體IP 100，且多媒體IP 100可將第三資料傳輸至記憶體300。
因此，可將由FBC 200生成的第三資料儲存於記憶體300中。反之，儲存於記憶體300中的第三資料可由多媒體IP 100加載且傳輸至FBC 200。FBC 200可藉由對第三資料進行解壓縮來將第三資料轉換成第二資料。FBC 200可將第二資料傳輸至多媒體IP 100。
亦即，每當多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150單獨地對記憶體300進行存取時，FBC 200均可將第二資料壓縮成第三資料且將第三資料傳輸至記憶體300。舉例而言，在多媒體IP 100的組件中的一者生成第二資料並將第二資料儲存於記憶體300之後，訊框緩衝壓縮器200可壓縮所儲存的資料，並將經壓縮資料儲存至記憶體300中。反之，每當自記憶體300向多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150作出資料請求，FBC 200均可將第三資料解壓縮成第二資料且將第二資料傳輸至多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者。
記憶體300可儲存由FBC 200生成的第三資料且將所儲存的第三資料提供至FBC 200以使FBC 200可對第三資料進行解壓縮。
在一實施例中，系統匯流排400連接至多媒體IP 100及記憶體300中的每一者。具體言之，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150可單獨連接至系統匯流排400。系統匯流排400可充當路徑，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150與記憶體300經由所述路徑彼此交換資料。
在一實施例中，FBC 200並未連接至系統匯流排400，且在多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者對記憶體300進行存取時將第二資料轉換成第三資料或將第三資料轉換成第二資料。
圖2為圖1中所說明的FBC 200的詳細方塊圖。
參看圖2，FBC 200包含編碼器210(例如，編碼電路)及解碼器220(例如，解碼電路)。
編碼器210可自多媒體IP 100接收第二資料且生成第三資料。此處，可自多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者傳輸第二資料。可經由多媒體IP 100及系統匯流排400將第三資料傳輸至記憶體300。
反之，解碼器220可將儲存於記憶體300中的第三資料解壓縮成第二資料。可將第二資料傳輸至多媒體IP 100。此處，可將第二資料傳輸至多媒體IP 100的ISP 110、G2D 120、MFC 130、 GPU 140以及顯示器150中的每一者。
圖3為圖2中所說明的編碼器210的詳細方塊圖。
參看圖3，編碼器210包含第一模式選擇器219(例如，模式選擇電路)、預測模組211(例如，邏輯電路或處理器)、量化模組213(例如，邏輯電路或處理器)、熵編碼模組215(例如，邏輯電路或處理器)以及填補模組217(例如，邏輯電路或處理器)。
在一實施例中，第一模式選擇器219判定編碼器210將在無損模式(例如，無損壓縮)下還是有損模式(例如，有損壓縮)下操作。當編碼器210基於第一模式選擇器219的判定結果而在無損模式下操作時，可沿圖3的無損路徑壓縮第二資料。當編碼器210在有損模式下操作時，可沿有損路徑壓縮第二資料。
第一模式選擇器219可自多媒體IP 100接收用於判定將執行無損壓縮還是有損壓縮的訊號。此處，無損壓縮指示不損失資料的壓縮且具有根據資料而變化的壓縮比。另一方面，有損壓縮指示其中部分地損失資料的壓縮。有損壓縮具有比無損壓縮高的壓縮比，且具有預設的固定壓縮比。
在無損模式的情況下，第一模式選擇器219使得第二資料能夠沿無損路徑流動至預測模組211、熵編碼模組215以及填補模組217。反之，在有損模式的情況下，第一模式選擇器219使得第二資料能夠沿有損路徑流動至預測模組211、量化模組213以及熵編碼模組215。
預測模組211將第二資料轉換成經預測的影像資料。經預測的影像資料為作為預測資料與殘餘資料的組合的第二資料的經壓縮表示。在一實施例中，預測資料為影像資料的一個像素的影 像資料，且殘餘資料自影像資料的與一個像素相鄰的像素的預測資料與影像資料之間的差產生。舉例而言，若一個像素的影像資料具有0至255的值，則可能需要8個位元來表示所述值。當相鄰像素具有與所述一個像素的值類似的值時，相鄰像素中的每一者的殘餘資料比預測資料小得多。舉例而言，若相鄰像素具有類似的值，則只有與相鄰像素的值之間的差(亦即，殘餘)可在不損失資料的情況下進行表示，且表示所述差所需的資料的位元的數目可能比8個位元小得多。舉例而言，當相繼排列具有253、254以及255的值的像素時，若預測資料為253，則殘餘資料表示(253(預測)，1(殘餘)，2(殘餘))可為足夠的，且此殘餘資料表示所需的每像素的位元的數目可為比8個位元小得多的2個位元。舉例而言，24個位元的253、254以及255的資料可由於8個位元的預測資料253(11111101)、2個位元的殘餘資料254-251=1(01)以及2個位元的殘餘資料255-253=2(10)而減小至12個位元。
因此，預測模組211可藉由將第二資料劃分成預測資料及殘餘資料來壓縮第二資料的總體大小。可使用各種方法來判定預測資料。
預測模組211可在逐像素基礎上或逐區塊基礎上執行預測。此處，區塊可為由多個相鄰像素形成的區域。舉例而言，在像素基礎上的預測可意謂自像素中的一者產生所有殘餘資料，且在區塊基礎上的預測可意謂針對每一區塊自對應區塊的像素產生殘餘資料。
量化模組213可進一步壓縮由預測模組211壓縮的第二資料。量化模組213可使用預設量化參數(QP)來移除第二資料 的較低位元(例如，使用QP來量化第二資料)。舉例而言，若預測資料為253(11111101)，則可藉由移除較低的2個位元來使預測資料自8個位元減小為6個位元，其產生預測資料252(111111)。具體言之，可藉由用資料乘以QP來選擇表示值，其中捨棄小數點之下的數字，從而產生損失。若像素資料具有0至28-1(=255)的值，則可將QP限定為1/(2n-1)(其中n是8或小於8的整數)。然而，當前實施例並不限於此情況。
此處，由於並未在之後恢復經移除的較低位元，因此所述較低位元損失了。因此，僅在有損模式下利用量化模組213。與無損模式相比，有損模式可具有相對較高的壓縮比，且可具有預設的固定壓縮比。因此，之後並不需要關於壓縮比的資訊。
熵編碼模組215可經由熵譯碼來壓縮由量化模組213在有損模式下壓縮的第二資料或由預測模組211在無損模式下壓縮的第二資料。在熵譯碼中，可根據頻率來分配位元的數目。
在一實施例中，熵編碼模組215使用霍夫曼(Huffman)譯碼來壓縮第二資料。在一替代性實施例中，熵編碼模組215經由指數哥倫布(exponential Golomb)譯碼或哥倫布萊斯(Golomb rice)譯碼來壓縮經預測的影像資料。在一實施例中，熵編碼模組215使用k值來生成表，所述熵編碼模組使用所生成的表來壓縮經預測的影像資料。k值可為在熵編碼中使用的熵編碼值。
填補模組217可對由熵編碼模組215在無損模式下壓縮的第二資料執行填補。此處，填補可指添加無意義資料，以便配合具體大小。稍後將更詳細地描述此情況。
不僅可在無損模式下而且亦可在有損模式下激活填補模 組217。在有損模式下，可藉由量化模組213以大於期望的壓縮比來壓縮第二資料。在此情況下，第二資料即使在有損模式下亦可經傳送通過填補模組217，轉換成第三資料且接著傳輸至記憶體300。在一例示性實施例中，省略填補模組217，使得不執行填補。
壓縮管理器218判定分別用於量化及熵譯碼的QP表與熵表的組合，且根據所判定的QP表與熵表的組合來控制對第二資料的壓縮。
在此情況下，第一模式選擇器219判定編碼器210將在有損模式下操作。因此，沿圖3的有損路徑壓縮第二資料。亦即，基於假定FBC 200使用有損壓縮演算法來壓縮第二資料，壓縮管理器218判定所需QP表與熵表的組合且根據所判定的QP表與熵表的組合來壓縮第二資料。
具體言之，QP表可包含一或多個條目，且所述條目中的每一者可包含用於量化第二資料的QP。
在一實施例中，熵表是指藉由k值識別以執行熵譯碼演算法的多個碼表。可在一些實施例中使用的熵表可包含指數哥倫布碼及哥倫布萊斯碼中的至少一者。
壓縮管理器218判定包含預定數目的條目的QP表，且FBC 200使用所判定的QP表來量化經預測的第二資料。此外，壓縮管理器218判定使用預定數目的k值的熵表，且FBC 200使用所判定的熵表來對經量化的第二資料執行熵譯碼。亦即，FBC 200基於由壓縮管理器218判定的QP表與熵表的組合來生成第三資料。
接著，FBC 200可將所生成的第三資料寫入記憶體300 中。此外，FBC 200可自記憶體300讀取第三資料，對所讀取的第三資料進行解壓縮，且將經解壓縮的第三資料提供至多媒體IP 100。
圖4為圖2中所說明的解碼器220的詳細方塊圖。
參看圖3及圖4，解碼器220包含第二模式選擇器229(例如，模式選擇電路)、未填補模組227(例如，邏輯電路或處理器)、熵解碼模組225(例如，邏輯電路)、逆量化模組223(例如，邏輯電路或處理器)以及預測補償模組221(例如，邏輯電路或處理器)。
第二模式選擇器229判定是否已經由第二資料的無損壓縮或有損壓縮來生成儲存於記憶體300中的第三資料。在一例示性實施例中，第二模式選擇器229基於存在或不存在標頭來判定是否已藉由在無損模式下或有損模式下壓縮第二資料來生成第三資料。在一實施例中，當第三資料包含至少一個量化參數時在有損模式下壓縮第三資料，且當第三資料不包含量化參數時在無損模式下壓縮第三資料。在另一實施例中，經壓縮資料儲存有指示是以有損方式還是以無損方式壓縮資料的標記。
若已藉由在無損模式下壓縮第二資料來生成第三資料，則第二模式選擇器229使得第三資料能夠沿無損路徑流動至未填補模組227、熵解碼模組225以及預測補償模組221。反之，若已藉由在有損模式下壓縮第二資料來生成第三資料，則第二模式選擇器229使得第三資料能夠沿有損路徑流動至熵解碼模組225、逆量化模組223以及預測補償模組221。
未填補模組227可移除已藉由編碼器210的填補模組217 填補的資料的一部分。當省略填補模組217時，可省略未填補模組227。
熵解碼模組225可對已由熵編碼模組215壓縮的資料進行解壓縮。熵解碼模組225可使用霍夫曼譯碼、指數哥倫布譯碼或哥倫布萊斯譯碼來執行解壓縮。由於第三資料包含k值，因此熵解碼模組225可使用k值來執行解碼。
逆量化模組223可對已由量化模組213壓縮的資料進行解壓縮。逆量化模組223可使用預定量化參數(QP)來恢復由量化模組213壓縮的第二資料。舉例而言，逆量化模組223可對熵解碼模組225的輸出執行逆量化操作。然而，逆量化模組223無法完全復原壓縮過程中所損失的資料。因此，僅在有損模式下利用逆量化模組223。
預測補償模組221可執行預測補償以復原由預測模組211表示為預測資料及殘餘資料的資料。舉例而言，預測補償模組221可將殘餘資料表示(253(預測)，1(殘餘)，2(殘餘))轉換成(253，254，255)。舉例而言，預測補償模組221可藉由將殘餘資料添加至預測資料來恢復資料。
預測補償模組221可恢復由預測模組211在逐像素基礎上或逐區塊基礎上預測的資料。因此，可恢復第二資料，或可對第三資料進行解壓縮且接著將其傳輸至多媒體IP 100。
解壓縮管理器228可在對第三資料的解壓縮中執行適當地反映QP表與熵表的組合的操作，如上文參看圖3所描述，所述組合已藉由壓縮管理器218判定以壓縮第二資料。
在一例示性實施例中，影像處理裝置的第二資料為呈 YUV格式的資料。此處，呈YUV格式的資料可具有YUV 420格式或YUV 422格式。
圖5為用於解釋由根據本發明概念的例示性實施例的影像處理裝置處理的YUV 420資料格式的三種操作模式的概念圖。
參看圖1至圖5，FBC200的編碼器210及解碼器220可具有三種操作模式。在圖5中，呈YUV 420格式的第二資料具有16×16明度訊號區塊Y、8×8第一色度訊號區塊Cb或U以及8×8第二色度訊號區塊Cr或V。此處，每一區塊的大小指示排列有多少列及多少行像素，且16×16大小指示由16列及16行像素構成的區塊的大小。
FBC 200可包含三種操作模式：級聯模式
Figure 108102299-A0305-02-0018-1
、部分級聯模式
Figure 108102299-A0305-02-0018-2
以及分離模式
Figure 108102299-A0305-02-0018-3
。所述三種模式是關於資料的壓縮格式，且可為根據有損模式及無損模式分別判定的操作模式。在一例示性實施例中，三種操作模式中的僅兩種可用。在另一例示性實施例中，三種操作模式中的僅一種可用。
級聯模式
Figure 108102299-A0305-02-0018-4
是用於將明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr一起進行壓縮及解壓縮的操作模式。亦即，在級聯模式
Figure 108102299-A0305-02-0018-5
下，壓縮單元區塊為如圖5中所說明那樣組合明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr的區塊。因此，壓縮單元區塊可具有16×24的大小。舉例而言，可使用單個壓縮操作來壓縮包含明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr的資料區塊。
在部分級聯模式
Figure 108102299-A0305-02-0018-6
下，第一色度訊號區塊Cb與第二色度訊號區塊Cr彼此組合且一起進行壓縮及解壓縮，且明度訊號區塊 Y獨立地進行壓縮及解壓縮。因此，明度訊號區塊Y可具有16×16的其原始大小，且組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊可具有16×8的大小。舉例而言，可使用第一壓縮操作來壓縮明度訊號區塊Y，且可使用第二壓縮操作來壓縮包含第一色度訊號區塊Cb及第二色度訊號區塊Cr的資料區塊。
分離模式
Figure 108102299-A0305-02-0019-7
是用於將明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr分別進行壓縮及解壓縮的操作模式。此處，為了使壓縮單元區塊與解壓縮單元區塊大小相同，明度訊號區塊Y維持在16×16的其原始大小，且第一色度訊號區塊Cb及第二色度訊號區塊Cr各自放大至16×16的大小。舉例而言，可使用第一壓縮操作來壓縮明度訊號區塊Y，可使用第二壓縮操作來壓縮第一色度訊號區塊Cb，且可使用第三壓縮操作來壓縮第二色度訊號區塊Cr。
因此，若明度訊號區塊Y的數目為N，則可將第一色度訊號區塊Cb的數目及第二色度訊號區塊Cr的數目各自減少至N/4。
當根據本發明概念的例示性實施例的影像處理裝置的FBC 200在級聯模式
Figure 108102299-A0305-02-0019-8
下操作時，可經由對記憶體300的單個存取請求來讀取所有所需資料。特定言之，當多媒體IP 100需要呈RGB格式(而非呈YUV格式)的資料時，FBC 200在級聯模式
Figure 108102299-A0305-02-0019-9
下操作是有利的。此是因為在級聯模式
Figure 108102299-A0305-02-0019-10
下可一次獲得所有明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr，且此是因為需要所有明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr以獲得RGB資料。
當壓縮單元區塊在級聯模式
Figure 108102299-A0305-02-0020-11
下較小時，分離模式
Figure 108102299-A0305-02-0020-12
可能需要更少的硬體資源。因此，當多媒體IP 100需求呈YUV格式(而非呈RGB格式)的資料時，分離模式
Figure 108102299-A0305-02-0020-13
可能更為有利。
最後，部分級聯模式
Figure 108102299-A0305-02-0020-14
是級聯模式
Figure 108102299-A0305-02-0020-15
與分離模式
Figure 108102299-A0305-02-0020-16
之間的折衷。即使在需要RGB資料時，部分級聯模式
Figure 108102299-A0305-02-0020-17
亦比級聯模式
Figure 108102299-A0305-02-0020-18
需要更少的硬體資源且比分離模式
Figure 108102299-A0305-02-0020-19
對記憶體300作出更少的存取請求(兩個存取請求)。
第一模式選擇器219判定在三種模式(亦即，級聯模式
Figure 108102299-A0305-02-0020-20
、部分級聯模式
Figure 108102299-A0305-02-0020-21
以及分離模式
Figure 108102299-A0305-02-0020-22
)中的哪種模式下將會壓縮第二資料。第一模式選擇器219可自多媒體IP 100接收指示將會執行級聯模式
Figure 108102299-A0305-02-0020-23
、部分級聯模式
Figure 108102299-A0305-02-0020-24
以及分離模式
Figure 108102299-A0305-02-0020-25
中的哪一者的訊號。舉例而言，可將訊號設定成用以指示級聯模式的第一電壓位準、用以指示部分級聯模式的第二電壓位準以及用以指示分離模式的第三電壓位準，其中第一電壓位準至第三電壓位準與彼此不同。
第二模式選擇器229可根據在級聯模式
Figure 108102299-A0305-02-0020-26
、部分級聯模式
Figure 108102299-A0305-02-0020-27
以及分離模式
Figure 108102299-A0305-02-0020-28
中的哪一者下已將第二資料壓縮成第三資料而對第三資料進行解壓縮。舉例而言，若使用級聯模式壓縮第二資料，則第二模式選擇器229可進行單次存取來擷取包含明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr的經壓縮資料。舉例而言，若使用部分級聯模式壓縮第二資料，則第二模式選擇器229可進行兩次存取來擷取包含明度訊號區塊Y的第一經壓縮資料及包含第一色度訊號區塊Cb及第二色度訊號區塊Cr的第二經壓縮資料。舉例而言，若使用分離模式壓縮第二資料，則 第二模式選擇器229可進行三次存取來擷取包含明度訊號區塊Y的第一經壓縮資料、包含第一色度訊號區塊Cb的第二經壓縮資料以及包含第二色度訊號區塊Cr的第三經壓縮資料。
圖6為用於解釋根據本發明概念的例示性實施例的影像處理裝置的YUV 422資料格式的三種操作模式的概念圖。
參看圖1至圖4以及圖6，FBC 200的編碼器210及解碼器220亦可具有YUV 422格式的三種操作模式。在圖6中，呈YUV 422格式的第二資料具有16×16明度訊號區塊Y及16×8第一色度訊號區塊Cb或U以及16×8第二色度訊號區塊Cr或V。
在級聯模式
Figure 108102299-A0305-02-0021-29
下，壓縮單元區塊是組合明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr的區塊。因此，所述壓縮單元區塊可具有16×32的大小。
在部分級聯模式
Figure 108102299-A0305-02-0021-30
下，第一色度訊號區塊Cb與第二色度訊號區塊Cr彼此組合且一起進行壓縮及解壓縮，且明度訊號區塊Y獨立地進行壓縮及解壓縮。因此，明度訊號區塊Y可具有16×16的其原始大小，且組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊可具有16×16的大小。因此，明度訊號區塊Y的大小可等於組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊的大小。
分離模式
Figure 108102299-A0305-02-0021-31
是用於將明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr分別進行壓縮及解壓縮的操作模式。此處，為了使壓縮單元區塊與解壓縮單元區塊大小相同，明度訊號區塊Y維持在16×16的其原始大小，且第一色度訊號區塊Cb及第二色度訊號區塊Cr各自放大至16×16的大小。
因此，若明度訊號區塊Y的數目為N，則將第一色度訊號區塊Cb的數目及第二色度訊號區塊Cr的數目各自減少至N/2。
圖7說明藉由根據本發明概念的例示性實施例的影像處理裝置進行無損壓縮的資料的結構。圖8為用於解釋圖7的經無損壓縮資料的壓縮方法的表。
參看圖1至圖8，第三資料(亦即，經壓縮資料)包含有效負載及標頭。
標頭指示壓縮比，且有效負載包含實際經壓縮資料及解壓縮所需的值。
在圖8中，藉助於實例說明用於解釋16×16區塊的無損壓縮的表。由於資料格式為YUV 420且操作模式為分離模式
Figure 108102299-A0305-02-0022-32
，因此圖5的明度訊號區塊Y、第一色度訊號區塊Cb或第二色度訊號區塊Cr可對應於此表。像素深度指示一個像素中表示的值的位元值。舉例而言，需要8個位元的像素深度來表示0至255的值。因此，在圖8的實例中，每一像素中表示的值可為0至255。
在記憶體300中，可以硬體方式一次存取的資料的大小為預定的。記憶體300的資料存取單元的大小可指示可在記憶體300中存取的資料的大小。在圖8中，為方便起見將假設記憶體300的資料存取單元的大小為32個位元組。
一個像素可具有8個位元(亦即，1個位元組)的資料，且16×16區塊可具有總共256個位元組的資料。亦即，第二資料(亦即，未經壓縮資料)的大小可為256個位元組。
就無損壓縮而言，經壓縮資料的大小可能每次均不同。為了自記憶體300讀取經壓縮資料，必須分別記錄經壓縮資料的大 小。然而，若按原樣記錄經壓縮資料的大小，則壓縮效率可藉由所記錄的大小而降低。因此，可使壓縮比標準化以提高壓縮效率。
具體言之，在圖8中，基於32個位元組(其為記憶體300的資料存取單元的大小)來限定壓縮比的範圍。亦即，若經壓縮資料的大小為0個位元組至32個位元組，則壓縮比為100%至87.5%。在此情況下，可執行將壓縮比調節為87.5%的操作(亦即，將經壓縮資料的大小調節為32個位元組的操作)，且可將0記錄於標頭中。同樣，若經壓縮資料的大小為161個位元組至192個位元組，則壓縮比為37.5%至25%。在此情況下，可執行將壓縮比調節為25%的操作(亦即，將經壓縮資料的大小調節為192個位元組的操作)，且可將5記錄於標頭中。
圖3的填補模組217可執行將經壓縮資料的大小調節為對應範圍的最大大小的操作。亦即，若經壓縮資料的大小為170個位元組，則由於170個位元組介於161個位元組與192個位元組之間，因此可執行添加22個位元組的「0」的填補操作以將經壓縮資料的大小調節為192個位元組。
已藉由填補模組217將大小調節為對應範圍的最大大小的經壓縮資料可變為第三資料的有效負載。因此，有效負載的大小(n1個位元)可為記憶體300的資料存取單元的大小的整數倍。
標頭可包含圖8的標頭索引。標頭的大小可根據經壓縮資料的大小而變化，但就圖8而言可為3個位元，此是因為標頭僅表示0至7。
在一例示性實施例中，標頭及有效負載儲存於記憶體300的不同區域中。亦即，標頭可以與另一標頭相鄰的方式儲存，且有 效負載可以與另一有效負載相鄰的方式儲存。
在一實施例中，有效負載包含二進位碼及k值碼。二進位碼可表示經壓縮的第二資料。k值碼可表示由熵編碼模組215判定的k值。
二進位碼可包含整個區塊的資料值。因此，二進位碼可相繼包含區塊中所包含的每一像素的資料。
由於當前模式為分離模式
Figure 108102299-A0305-02-0024-33
，因此k值碼為明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr中的任一者的k值。
圖9說明藉由根據本發明概念的例示性實施例的影像處理裝置進行無損壓縮的資料的結構。圖10為用於解釋圖9的經無損壓縮資料的壓縮方法的表。
在圖10中，藉助於實例說明用於解釋16×8區塊的無損壓縮的表。由於資料格式為YUV 420且操作模式為部分級聯模式
Figure 108102299-A0305-02-0024-34
，因此將圖5的第一色度訊號區塊Cb與第二色度訊號區塊Cr組合的區塊可對應於此表。在圖10中，為方便起見將假設記憶體300的資料存取單元的大小為32個位元組。
16×8區塊可具有總共128個位元組的資料。亦即，第二資料的大小可為128個位元組。
基於32個位元組(其為記憶體300的資料存取單元的大小)來限定壓縮比的範圍。亦即，若經壓縮資料的大小為0至32個位元組，則壓縮比為100%至75%。在此情況下，可執行將壓縮比調節為75%的操作(亦即，將經壓縮資料的大小調節為32個位元組的操作)，且可將0記錄於標頭中。同樣，若經壓縮資料的大 小為97個位元組至128個位元組，則壓縮比為25%至0%。在此情況下，可執行將壓縮比調節為0%的操作(亦即，將經壓縮資料的大小調節為128個位元組的操作)，且可將3記錄於標頭中。此操作可由圖3的填補模組217執行。
參看圖9，已藉由填補模組217將大小調節為對應範圍的最大大小的經壓縮資料可變為第三資料的有效負載。因此，有效負載的大小(n2個位元)可為記憶體300的資料存取單元的大小的整數倍。
在一實施例中，有效負載包含二進位碼及k值碼。由於當前模式為部分級聯模式
Figure 108102299-A0305-02-0025-35
且16×8區塊為組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊，因此k值碼包含第一色度訊號區塊Cb的k值碼及第二色度訊號區塊Cr的k值碼。第一色度訊號區塊Cb的k值碼及第二色度訊號區塊Cr的k值碼的排列順序可變化。
根據例示性實施例的影像處理裝置的有效負載僅包含一個k值碼，而不分別具有第一色度訊號區塊Cb的k值碼及第二色度訊號區塊Cr的k值碼。在此情況下，所述k值碼在第一色度訊號區塊Cb及第二色度訊號區塊Cr中相同。
由於圖9說明其中在部分級聯模式
Figure 108102299-A0305-02-0025-36
下組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊的資料結構，因此二進位碼可包含關於第一色度訊號區塊Cb的資料及關於第二色度訊號區塊Cr的資料兩者。
在二進位碼中，首先可針對所有像素放置關於第一色度訊號區塊Cb的資料，且接著可針對所有像素放置關於第二色度訊 號區塊Cr的資料。亦即，可分別排列第一色度訊號區塊Cb的資料及第二色度訊號區塊Cr的資料。第一色度訊號區塊Cb的資料及第二色度訊號區塊Cr的資料的排列順序可變化。
可替代地，根據例示性實施例的影像處理裝置的二進位碼具有交錯結構，其中針對一個像素相繼排列第一色度訊號區塊Cb的資料及第二色度訊號區塊Cr的資料，且針對另一像素相繼排列第一色度訊號區塊Cb的資料及第二色度訊號區塊Cr的資料。
無需在分離模式
Figure 108102299-A0305-02-0026-37
下考慮此結構，此是因為在分離模式
Figure 108102299-A0305-02-0026-38
下僅包含一個平面。然而，由於在級聯模式
Figure 108102299-A0305-02-0026-39
下及部分級聯模式
Figure 108102299-A0305-02-0026-40
下包含多個平面，因此可使用交錯結構。
因此，在級聯模式
Figure 108102299-A0305-02-0026-41
下，亦可在二進位碼中分別排列針對所有像素的明度訊號區塊Y的資料、針對所有像素的第一色度訊號區塊Cb的資料以及第二色度訊號區塊Cr的資料。明度訊號區塊Y的資料、第一色度訊號區塊Cb的資料以及第二色度訊號區塊Cr的資料的排列順序可變化。
可替代地，在級聯模式
Figure 108102299-A0305-02-0026-42
的二進位碼中，可針對一個像素排列明度訊號區塊Y的資料、第一色度訊號區塊Cb的資料以及第二色度訊號區塊Cr的資料。接著，可針對另一像素排列明度訊號區塊Y的資料、第一色度訊號區塊Cb的資料以及第二色度訊號區塊Cr的資料。
亦即，在二進位碼中，可針對每一平面排列資料或可針對每一像素排列資料(交錯結構)。
圖11說明藉由根據本發明概念的例示性實施例的影像處理裝置進行無損壓縮的資料的結構。
參看圖11，若當前模式為級聯模式
Figure 108102299-A0305-02-0027-43
，則壓縮組合明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr的區塊。因此，k值碼可包含明度訊號區塊Y的k值碼、第一色度訊號區塊Cb的k值碼以及第二色度訊號區塊Cr的k值碼。此處，明度訊號區塊Y的k值碼、第一色度訊號區塊Cb的k值碼以及第二色度訊號區塊Cr的k值碼的排列順序可變化。
根據實施例的影像處理裝置的有效負載僅包含一個k值碼，而不分別具有明度訊號區塊Y的k值碼、第一色度訊號區塊Cb的k值碼以及第二色度訊號區塊Cr的k值碼。在此情況下，k值碼在明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr中相同。
可替代地，若三個平面中僅有兩個共用相同的k值碼，則在有效負載中可包含總共兩個k值碼。
在一實施例中，包含二進位碼及k值碼的有效負載的大小(n3個位元)是記憶體300的資料存取單元的大小的整數倍。
圖12說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
參看圖12，藉由以有損模式壓縮第二資料而生成的第三資料僅包含不具有標頭的有效負載。
在一實施例中，有效負載包含二進位碼、k值碼以及QP碼。在一實施例中，QP碼包含由圖3中的量化模組213使用的QP。在一實施例中，解碼器220的逆量化模組223對使用QP碼藉由量化模組213壓縮的資料進行解壓縮。
圖12的第三資料可為對應於分離模式
Figure 108102299-A0305-02-0027-44
的第三資料的結 構。因此，k值碼及QP碼可能僅針對明度訊號區塊Y、第一色度訊號區塊Cb以及第二色度訊號區塊Cr中的一者而存在。
由於在有損模式下壓縮比為固定的，因此第三資料的大小(亦即，有效負載的大小(m1個位元))可為固定的。
圖13說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
參看圖13，有效負載包含二進位碼、k值碼以及QP碼。圖13的第三資料可為其中在部分級聯模式
Figure 108102299-A0305-02-0028-45
下組合第一色度訊號區塊Cb與第二色度訊號區塊Cr的區塊的第三資料的結構。因此，存在兩個k值碼及兩個QP碼。具體言之，有效負載包含第一色度訊號區塊Cb的k值碼、第二色度訊號區塊Cr的k值碼、第一色度訊號區塊Cb的QP碼以及第二色度訊號區塊Cr的QP碼。
第一色度訊號區塊Cb的k值碼、第二色度訊號區塊Cr的k值碼、第一色度訊號區塊Cb的QP碼、第二色度訊號區塊Cr的QP碼以及二進位碼(亦即，經壓縮資料)的順序可變化。
在一實施例中，共用兩個k值碼。因此，當共用相同的k值碼時，僅存在一個k值碼。
同樣，可共用兩個QP碼。因此，當共用相同的QP碼時，僅存在一個QP碼。圖14說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
由於在有損模式下壓縮比為固定的，因此第三資料的大小(亦即，有效負載的大小(m2個位元))可為固定的。
參看圖14，有效負載包含二進位碼、k值碼以及QP碼。圖14的第三資料可為其中在級聯模式
Figure 108102299-A0305-02-0028-46
下組合明度訊號區塊Y、 第一色度訊號區塊Cb以及第二色度訊號區塊Cr的區塊的第三資料的結構。因此，存在三個k值碼及三個QP碼。具體言之，有效負載包含明度訊號區塊Y的k值碼、第一色度訊號區塊Cb的k值碼、第二色度訊號區塊Cr的k值碼、明度訊號區塊Y的QP碼、第一色度訊號區塊Cb的QP碼以及第二色度訊號區塊Cr的QP碼。
明度訊號區塊Y的k值碼、第一色度訊號區塊Cb的k值碼、第二色度訊號區塊Cr的k值碼、明度訊號區塊Y的QP碼、第一色度訊號區塊Cb的QP碼、第二色度訊號區塊Cr的QP碼以及二進位碼的順序可變化。
在一實施例中，共用三個k值碼。因此，當共用相同的k值時，僅存在一個k值碼。當三個平面中的僅兩個共用k值碼時，僅存在兩個k值碼。
同樣，可共用三個QP碼。因此，當共用相同的QP碼時，僅存在一個QP碼。當三個平面中的僅兩個共用QP碼時，僅存在兩個QP碼。
由於在有損模式下壓縮比為固定的，因此第三資料的大小(亦即，有效負載的大小(m3個位元))可為固定的。
現將參看圖1至圖6以及圖15描述根據本發明概念的例示性實施例的影像處理裝置。
圖15說明藉由根據本發明概念的例示性實施例的影像處理裝置進行有損壓縮的資料的結構。
參看圖1至圖6以及圖15，在有損模式下，有效負載可僅包含二進位碼及最大QP碼而不具有k值碼。此處，儲存於最大 QP碼中的QP可為可能的QP當中的最大值。若像素資料具有0至28-1(=255)的值，則可將QP限定為1/(2n-1)(其中n是8或小於8的整數)。然而，當前實施例並不限於此情況。
在一實施例中，熵編碼模組215藉由根據類似資料的頻率分配位元來執行熵譯碼。若QP為最大值，則類似資料的頻率不高。因此，執行熵編碼可增加資料大小。
因此，根據本發明概念的實施例的影像處理裝置的第二資料藉由編碼器210的量化模組213直接轉換成第三資料且不傳送通過熵編碼模組215。
因此，當量化模組213的QP具有最大值時，根據實施例的影像處理裝置的編碼器210不將k值碼包含於有效負載中，且僅將二進位碼及最大QP碼包含於有效負載中。
由於在有損模式下壓縮比為固定的，因此第三資料的大小(亦即，有效負載的大小(m4個位元))可為固定的。
現將參看圖16描述根據例示性實施例的影像處理裝置。
圖16為根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
參看圖16，根據本發明概念的例示性實施例的影像處理裝置的FBC 200直接連接至系統匯流排400。
FBC 200並未直接連接至多媒體IP 100，而是經由系統匯流排400連接至多媒體IP 100。具體言之，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者可經由系統匯流排400與FBC 200交換資料且經由系統匯流排400將資料傳輸至記憶體300。
亦即，在壓縮操作中，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者可經由系統匯流排400將第二資料(亦即，未經壓縮資料)傳輸至FBC 200。接著，FBC 200可將第二資料壓縮成第三資料且經由系統匯流排400將第三資料(亦即，經壓縮資料)傳輸至記憶體300。
類似地，在解壓縮操作中，FBC 200可經由系統匯流排400接收儲存於記憶體300中的第三資料且將第三資料解壓縮成第二資料。接著，FBC 200可經由系統匯流排400將第二資料傳輸至多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150中的每一者。
在圖16的實施例中，儘管FBC 200並未直接連接至多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150，但所述FBC可經由系統匯流排400間接連接至多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150。因此，可簡化硬體組態，且可提高操作速度。
現將參看圖17描述根據本發明概念的例示性實施例的影像處理裝置。
圖17為根據本發明概念的例示性實施例的影像處理裝置的方塊圖。
參看圖17，根據實施例的影像處理裝置經組態以使得記憶體300與系統匯流排400經由FBC 200彼此連接。
亦即，記憶體300並未直接連接至系統匯流排400，而是僅經由FBC 200連接至系統匯流排400。此外，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150可直接連 接至系統匯流排400。因此，多媒體IP 100的ISP 110、G2D 120、MFC 130、GPU 140以及顯示器150可僅經由FBC 200對記憶體300進行存取。
由於在當前實施例中FBC 200涉及對記憶體300的所有存取，因此FBC 200可直接連接至系統匯流排400，且記憶體300可經由FBC 200連接至系統匯流排400。此可減小資料傳輸中的誤差且提高操作速度。
100‧‧‧多媒體智慧財產權
110‧‧‧影像訊號處理器
120‧‧‧抖動校正模組
130‧‧‧多格式編解碼器
140‧‧‧圖形處理單元
150‧‧‧顯示器
200‧‧‧訊框緩衝壓縮器
300‧‧‧記憶體
400‧‧‧系統匯流排

Claims (19)

  1. 一種影像處理裝置，經組態以壓縮第一影像資料，所述影像處理裝置包括：編碼電路，經組態以將所述第一影像資料壓縮成包括預測資料及殘餘資料的第二影像資料，藉由對所述第二影像資料執行熵編碼來將所述第二影像資料壓縮成第三影像資料，判定所述第三影像資料相對於所述第一影像資料的壓縮比，生成包括所述壓縮比的標頭，以及將所述第三影像資料連同所述標頭一起作為經壓縮第一影像資料儲存於記憶體裝置中，其中所述第一影像資料為未經壓縮資料，且所述經壓縮第一影像資料包括所述第三影像資料及所述標頭，其中所述第三影像資料包括所述標頭及有效負載，所述有效負載包括實際經壓縮資料及解壓縮所需的值。
  2. 如申請專利範圍第1項所述的影像處理裝置，更包括：智慧財產權(IP)核心，直接連接至所述編碼電路；以及資料匯流排，直接連接至所述IP核心及所述記憶體裝置，其中所述編碼電路直接自所述IP核心接收所述第一影像資料，所述編碼電路將所述經壓縮第一影像資料直接傳輸至所述IP核心，且所述IP核心通過所述資料匯流排傳輸所述經壓縮第一影像資料以便儲存於所述記憶體裝置中。
  3. 如申請專利範圍第1項所述的影像處理裝置，更包括：智慧財產權(IP)核心；以及資料匯流排，直接連接至所述IP核心、所述編碼電路以及所述記憶體裝置， 其中所述編碼電路經由所述資料匯流排間接自所述IP核心接收所述第一影像資料，且所述編碼電路經由所述資料匯流排將所述經壓縮第一影像資料間接傳輸至所述記憶體裝置。
  4. 如申請專利範圍第1項所述的影像處理裝置，更包括：智慧財產權(IP)核心；以及資料匯流排，直接連接至所述IP核心及所述編碼電路，其中所述編碼電路經由所述資料匯流排間接自所述IP核心接收所述第一影像資料，且所述編碼電路將所述經壓縮第一影像資料直接傳輸至所述記憶體裝置。
  5. 如申請專利範圍第1項所述的影像處理裝置，其中所述標頭包含對應於多個可用壓縮比範圍當中的一個壓縮比範圍的索引，且所述第三影像資料的所述壓縮比滿足所述一個壓縮範圍。
  6. 如申請專利範圍第1項所述的影像處理裝置，其中所述編碼電路將所述經壓縮第一影像資料的大小調節為所述記憶體裝置的資料存取單元的大小。
  7. 如申請專利範圍第1項所述的影像處理裝置，其中所述經壓縮第一影像資料更包含用於所述熵編碼的至少一個熵編碼值。
  8. 如申請專利範圍第7項所述的影像處理裝置，其中所述熵編碼包括使用至少一個量化參數(QP)來量化所述第二影像資料，以及對所述量化的結果執行熵編碼。
  9. 如申請專利範圍第8項所述的影像處理裝置，其中所述經壓縮第一影像資料更包含所述至少一個QP。
  10. 如申請專利範圍第1項所述的影像處理裝置，其中所 述編碼電路包括模式選擇電路，所述模式選擇電路經組態以接收資訊，所述資訊指示壓縮模式為i)級聯模式、ii)部分級聯模式以及iii)分離模式中的一者，其中在所述級聯模式期間，所述編碼電路藉由將明度資料、第一色度資料以及第二色度資料組合成第一組合資料且壓縮所述第一組合資料來壓縮所述第一影像資料，其中在所述部分級聯模式期間，所述編碼電路藉由壓縮所述明度資料、將所述第一色度資料與所述第二色度資料組合成第二組合資料且壓縮所述第二組合資料來壓縮所述第一影像資料，以及其中在所述分離模式期間，所述編碼電路藉由分別壓縮所述明度資料、所述第一色度資料以及所述第二色度資料來壓縮所述第一影像資料。
  11. 一種影像處理裝置，經組態以壓縮第一影像資料，所述影像處理裝置包括：編碼電路，包括：模式選擇電路，經組態以基於從位於所述編碼電路外部的智慧財產權(IP)核心接收到的外來訊號來判定是將第一模式設定為無損壓縮模式還是有損壓縮模式；第一邏輯電路，經組態以將所述第一影像資料壓縮成包括預測資料及殘餘資料的第二影像資料；第二邏輯電路，經組態以使用至少一個量化參數(QP)來量化所述第二影像資料；第三邏輯電路，經組態以對i)在將所述第一模式設定 為所述無損壓縮模式時的所述第一邏輯電路的輸出及ii)在將所述第一模式設定為所述有損壓縮模式時的所述第二邏輯電路的輸出中的一者執行熵編碼，其中所述編碼電路判定由所述第三邏輯電路輸出的資料的壓縮比，生成表示所述壓縮比的標頭，且將所述第三邏輯電路的所述輸出連同所述標頭一起作為經壓縮第一影像資料儲存於記憶體裝置中，其中所述經壓縮第一影像資料包括所述標頭及所述第三邏輯電路的所述輸出，其中所述第三邏輯電路的所述輸出包括所述標頭及有效負載，所述有效負載包括實際經壓縮資料及解壓縮所需的值。
  12. 如申請專利範圍第11項所述的影像處理裝置，更包括：所述IP核心，直接連接至所述編碼電路；以及資料匯流排，直接連接至所述IP核心及記憶體裝置，其中所述編碼電路直接自所述IP核心接收所述第一影像資料，所述編碼電路將基於所述第三邏輯電路的輸出而生成的經壓縮第一影像資料直接傳輸至所述IP核心，且所述IP核心通過所述資料匯流排傳輸所述經壓縮第一影像資料以便儲存於所述記憶體裝置中。
  13. 如申請專利範圍第11項所述的影像處理裝置，更包括：所述IP核心；以及資料匯流排，直接連接至所述IP核心、所述編碼電路以及記 憶體裝置，其中所述編碼電路經由所述資料匯流排間接自所述IP核心接收所述第一影像資料，且所述編碼電路經由所述資料匯流排將基於所述第三邏輯電路的輸出而生成的經壓縮第一影像資料間接傳輸至所述記憶體裝置。
  14. 如申請專利範圍第11項所述的影像處理裝置，更包括：所述IP核心；以及資料匯流排，直接連接至所述IP核心及所述編碼電路，其中所述編碼電路經由所述資料匯流排間接自所述IP核心接收所述第一影像資料，且所述編碼電路將基於所述第三邏輯電路的輸出而生成的經壓縮第一影像資料直接傳輸至記憶體裝置。
  15. 如申請專利範圍第11項所述的影像處理裝置，其中所述標頭包含對應於多個可用壓縮比範圍當中的一個壓縮比範圍的索引，且所述壓縮比符合所述一個壓縮範圍。
  16. 如申請專利範圍第11項所述的影像處理裝置，其中編碼電路將所述經壓縮第一影像資料的大小調節為記憶體裝置的資料存取單元的大小。
  17. 如申請專利範圍第11項所述的影像處理裝置，其中所述經壓縮第一影像資料更包含使用所述熵編碼的至少一個熵編碼值。
  18. 如申請專利範圍第11項所述的影像處理裝置，其中當將所述第一模式設定為所述有損壓縮模式時，所述經壓縮第一影像資料更包含所述至少一個QP。
  19. 如申請專利範圍第11項所述的影像處理裝置，其中所述模式選擇電路經組態以判定是否將第二模式設定為i)級聯模式、ii)部分級聯模式以及iii)分離模式中的一者，其中在所述級聯模式期間，所述第一邏輯電路藉由將明度資料、第一色度資料以及第二色度資料組合成第一組合資料且壓縮所述第一組合資料來壓縮所述第一影像資料，其中在所述部分級聯模式期間，所述第一邏輯電路藉由壓縮所述明度資料、將所述第一色度資料與所述第二色度資料組合成第二組合資料且壓縮所述第二組合資料來壓縮所述第一影像資料，以及其中在所述分離模式期間，所述第一邏輯電路藉由分別壓縮所述明度資料、所述第一色度資料以及所述第二色度資料來壓縮所述第一影像資料。
TW108102299A 2018-01-26 2019-01-21 影像處理裝置 TWI827579B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180010183 2018-01-26
KR10-2018-0010183 2018-01-26
KR20180015932 2018-02-08
KR10-2018-0015932 2018-02-08
KR1020180041790A KR102465206B1 (ko) 2018-01-26 2018-04-10 이미지 처리 장치
KR10-2018-0041790 2018-04-10

Publications (2)

Publication Number Publication Date
TW201941600A TW201941600A (zh) 2019-10-16
TWI827579B true TWI827579B (zh) 2024-01-01

Family

ID=67615962

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108102299A TWI827579B (zh) 2018-01-26 2019-01-21 影像處理裝置

Country Status (3)

Country Link
KR (1) KR102465206B1 (zh)
SG (1) SG10201900626SA (zh)
TW (1) TWI827579B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof
US20150010062A1 (en) * 2013-01-30 2015-01-08 Neelesh N. Gokhale Content adaptive parametric transforms for coding for next generation video
US20160330455A1 (en) * 2013-08-16 2016-11-10 Tongji University Method device for image compression, having enhanced matching of fixed-width variable-length pixel samples strings
US20170123662A1 (en) * 2015-10-30 2017-05-04 Sandisk Technologies Inc. System and method of data compression
US20170310963A1 (en) * 2011-06-24 2017-10-26 Lg Electronics Inc. Image information encoding and decoding method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110150072A1 (en) * 2009-12-21 2011-06-23 Han Ki-Hun Encoding method, decoding method and apparatus thereof
US20170310963A1 (en) * 2011-06-24 2017-10-26 Lg Electronics Inc. Image information encoding and decoding method
US20150010062A1 (en) * 2013-01-30 2015-01-08 Neelesh N. Gokhale Content adaptive parametric transforms for coding for next generation video
US20160330455A1 (en) * 2013-08-16 2016-11-10 Tongji University Method device for image compression, having enhanced matching of fixed-width variable-length pixel samples strings
US20170123662A1 (en) * 2015-10-30 2017-05-04 Sandisk Technologies Inc. System and method of data compression

Also Published As

Publication number Publication date
SG10201900626SA (en) 2019-08-27
KR20190091181A (ko) 2019-08-05
KR102465206B1 (ko) 2022-11-09
TW201941600A (zh) 2019-10-16

Similar Documents

Publication Publication Date Title
US11445160B2 (en) Image processing device and method for operating image processing device
US11991347B2 (en) Image processing device
US10887616B2 (en) Image processing devices having enhanced frame buffer compressors therein
US11677932B2 (en) Image processing device
CN110087074B (zh) 图像处理装置和用于操作图像处理装置的方法
US11153586B2 (en) Image processing device and frame buffer compressor
TWI820063B (zh) 影像處理裝置及影像處理裝置的操作方法
TWI827579B (zh) 影像處理裝置
US11735222B2 (en) Frame buffer compressing circuitry and image processing apparatus
KR102543449B1 (ko) 이미지 처리 장치 및 이미지 처리 장치의 동작 방법
TWI795480B (zh) 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置
US20220201340A1 (en) Image processing device and method for operating image processing device
US20220201060A1 (en) Image processing device and method for operating image processing device
US9013595B1 (en) Digital video camera with internal data sample compression
KR20220149124A (ko) 이미지 신호 프로세서, 이미지 신호 프로세서 동작 방법 및 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템
JP2020141377A (ja) 画像符号化装置、画像復号化装置、撮像装置、画像符号化方法、画像復号化方法、及びプログラム