TWI421798B - 影像壓縮之位元率控制方法及其裝置 - Google Patents

影像壓縮之位元率控制方法及其裝置 Download PDF

Info

Publication number
TWI421798B
TWI421798B TW099113357A TW99113357A TWI421798B TW I421798 B TWI421798 B TW I421798B TW 099113357 A TW099113357 A TW 099113357A TW 99113357 A TW99113357 A TW 99113357A TW I421798 B TWI421798 B TW I421798B
Authority
TW
Taiwan
Prior art keywords
image
bit rate
complexity
image data
scaling factor
Prior art date
Application number
TW099113357A
Other languages
English (en)
Other versions
TW201137793A (en
Inventor
Keng Po Lu
Jui Lung Lin
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW099113357A priority Critical patent/TWI421798B/zh
Priority to US13/095,508 priority patent/US20110261878A1/en
Publication of TW201137793A publication Critical patent/TW201137793A/zh
Application granted granted Critical
Publication of TWI421798B publication Critical patent/TWI421798B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

影像壓縮之位元率控制方法及其裝置
本發明是有關於一種影像壓縮之方法及裝置，且特別是有關於一種影像壓縮之位元率控制方法及裝置。
一般的影像壓縮編碼方式由一個原始的影像變成經過編碼壓縮的串流，主要可以由五個部分所組成，包含取樣及色彩空間轉換(Downsample & Color Space Transform)、轉換(Transform)、量化(Quantization)、係數預測(Prediction)及熵編碼(Entropy Coding)。以JPEG標準為例，它先將色彩轉換至YCbCr色彩空間，再經過離散餘弦轉換(DCT：Discrete Cosine Transform)、量化，再對DC項係數進行預測差分，最後再將係數以鋸齒形掃描(Zig-Zag Scan)順序掃描成遊程編碼(Run-Length Encoding)，再以可變長度編碼(Variable Length Coding)完成編碼。
上述量化過程前需預先訂定三個量化表格(Quantization Table)提供YCbCr色彩空間分別使用，JPEG有其經過大量圖片統計過後建議的量化表格，壓縮比例(Compression Ratio)由縮放係數(Scale Factor)均勻地控制量化表格的變動，越大的縮放係數導致較高的壓縮比例，反之亦然。
對於進行影像擷取的裝置而言，在有限的記憶空間下，可以拍攝的照片數目或可攝錄影片的時間長度是必須得知以便加以利用。這方面的資訊需要在事先針對一縮放係數作出估算才能得到，但是，影像壓縮的實際結果往往與估算的情況有相當的出入。此外，有的習知估算方法需要對影像進行涉及DCT的運算，這亦佔用了部分的運算資源及費時。
另外，在上述影像壓縮的過程中，已訂定了的縮放係數在影像壓縮完成以前是不能更改的。為了讓壓縮之影像資料流或檔案能符合資料量大小及品質的需求，傳統的作法在判斷此次影像壓縮所產生的影像檔不符合需求時，則會進而調整縮放係數，並重覆上述運算。如此，往往需要至少兩次的影像壓縮運算才能得到符合需求的影像檔，增加了運算的時脈數和消耗運算資源。
本發明之實施例係有關於一種影像壓縮之位元率控制方法及裝置。依據影像複雜度及各單一通道(color channel)影像壓縮結果位元率之間的對應關係，能估算影像所欲求的例如壓縮比例所對應之縮放係數。藉由此估算之縮放係數以進行影像壓縮，能進行位元率控制以得到實質上符合預期的壓縮比例之結果。如此可減少運算的時脈數及記憶體的存取量。
根據本發明之一方面，提出一種影像壓縮之位元率控制方法，包括以下步驟。依據一影像之空間域影像資料，求得對於一色彩通道該空間域影像資料的影像複雜度。對於此色彩通道，依據此影像複雜度及一目標位元率，估算對應之一縮放係數。在進行此影像的影像壓縮之時，對此影像之頻率域影像資料，依據對應於此色彩通道之此估算之縮放係數進行量化。
根據本發明之另一方面，提出一種影像壓縮之位元率控制裝置，包括：一縮放係數估算模組及一影像壓縮單元。縮放係數估算模組，依據一影像之空間域影像資料，求得對於一色彩通道此空間域影像資料的影像複雜度，並對於此色彩通道，依據此影像複雜度及一目標位元率，估算對應之一縮放係數。影像壓縮單元，在進行此影像的影像壓縮之時，對此影像之頻率域影像資料，依據對應於此色彩通道之上述估算之縮放係數進行量化，以產生影像壓縮資料。
為讓本發明之上述內容能更明顯易懂，下文特舉較佳實施例，並配合所附圖式，作詳細說明如下：
請參考第1圖，其為依據本發明之一實施例之影像壓縮之位元率控制方法的流程圖。如第1圖所示，SD代表一影像之空間域影像資料。在步驟S110中，求得空間域影像資料SD的影像複雜度(image complexity)。在步驟S120中，對於一色彩通道(或稱通道)，依據步驟S110所得到的影像複雜度及一目標位元率，估算對應之一縮放係數(scale factor)(如以SF_E表示)。如步驟S130所示，在進行影像壓縮之時，對此影像之頻率域影像資料，依據各通道的估算之縮放係數SF_E進行量化。
此實施例之位元率控制方法可應用於需要進行空間域影像資料轉換為頻率域影像資料的影像壓縮方法之中，例如是JPEG或MPEG類的資料壓縮方法之中。以下舉例以JPEG對第1圖之方法作詳細說明，但此實施例並不以此為限。
上述實施例中，若以JPEG為例，空間域影像資料SD為原始影像經過取樣及色彩空間轉換後之畫素資料或資料流。而為了估算縮放係數，可針對原始影像大小相同或縮放後之空間域影像資料SD來計算複雜度。例如以縮小為原始大小一半的空間域影像資料SD或預覽縮圖(thumbnail)來計算複雜度，則可減少估算縮放係數時所需的運算量。
在步驟S110中，影像複雜度的衡量準則例如是以影像雜訊的程度，如：影像的邊緣(edge)、紋理(texture)，或影片中前後數張場景的影像像素的差值或場景改變(scene Change)處以作衡量。而影像雜訊程度可應用某種衡量準則下的數值作為影像複雜度。例如以邊緣或紋理偵測濾波器(detection filter)(可用電路或軟體實現)對空間域影像資料SD處理後所輸出的結果(或輸出圖像之數值)來做為複雜度的數值化呈現。
在一例子中，可以計算空間域影像資料SD之各像素的雜訊值，並將這些像素雜訊值加權平均而得每單位像素的雜訊程度(noise level per pixel)來代表影像複雜度。例如利用MxN(如3x3或5x5)邊緣偵測濾波器(Edge Detection Filter)計算一影像之邊緣及雜訊的權重，將經過影像處理後的此影像之每個像素p與其周圍的MxN-1個像素經過MxN邊緣偵測濾波器處理求得此像素p的雜訊值，每個像素雜訊值的權重加總後除以此影像之總像素個數即可求得整體影像每單位像素的雜訊程度。在其他例子中，各種空間域之邊緣或紋理的濾波器如拉普拉斯濾波器(Laplacian filter)、羅伯特濾波器(Roberts filter)、索伯爾濾波器(Sobel filter)、普瑞維特(Prewitt filter)皆可如上述例子般應用於複雜度的計算。另外，上述複雜度的單位亦可隨應用而改變，例如以每百萬單位像素之雜訊程度亦可為之，如此可減少複雜的除法運算，故複雜度的數值表示方式並非以上述為限。
另外，其他例子中，影片中前後數張場景的影像像素的差值或場景改變處亦可作為衡量複雜度的計算，此時複雜度的數量例如由上述之衡量準則的統計值或加權平均值來呈現。故此，步驟S110之影像複雜度計算之上述例子並非限定其實施例方式，其他能在空間域中反映出影像複雜度之各種合理衡量方式皆可用以實施步驟S110。
在步驟S120中，因為縮放係數、位元率、影像複雜度之間存在著對應關係，故能得以依據步驟S110所得之影像複雜度及一欲求之目標位元率來估算縮放係數，其中上述三個參數之間的對應關係，例如以多項式模型(polynomial model)來描述。此欲求之目標位元率，例如對應到在使用影像擷取裝置如拍照或拍攝視訊時，選擇欲進行的壓縮比例，例如是2：1、4：1或8：1，或選擇拍攝之影像品質如高、中、低畫質之選項；又例如對應到選擇欲求之檔案大小或就目前暫存記憶空間下，欲求之拍攝照片張數、或欲拍攝視訊之時間長度之情況下所計算得出之欲求之目標位元率。
此多項式模型係預先建立的。發明人透過實驗統計數據發現：在空間域上，在相同的縮放係數之下，單一通道(single channel)之影像複雜度(如上述所提及的雜訊的程度)與影像壓縮結果位元率之間存在著高度的相關性。例如，利用同一影像擷取裝置進行拍攝，將100張以上不同內容的樣本影像(如大小為1280x960)，分析同一縮放係數下之各個通道的影像複雜度與影像壓縮結果之位元組數之數據，其中影像複雜度採用邊緣複雜度作衡量，將各樣本影像縮小一半後，經邊緣偵測濾波處理後之輸出結果加總視作此樣本影像之複雜度。經過統計分析後，發現各單一通道的影像複雜度(如以x表示)與影像壓縮結果之位元組數(如以y表示)存在著高度的相關性。如第2圖係針對Y通道，以二次曲線來近似所得之結果，其中y=-10-10 x2 +0.0264x+184198，其中複相關係數R2 =0.9844。另外，針對U通道，在影像複雜度約7x106 ~4.1x107 之間，影像壓縮結果之位元組數可以用y=-2×10-11 x2 +0.0124x+13999來描述，其中複相關係數R2 =0.9978。最後，針對V通道，在影像複雜度約6x10-6 ~3.2x107 之間，影像壓縮結果之位元組數可以用y=3×10-11 x2 +0.0104x+33433來描述，其中複相關係數R2 =0.994。
由於其相關性在YCbCr三個色彩空間上都有類似的特性，因此可以對於該相關性在各個通道上去發展出各自的數學模型(Mathematical Model)。例如，各通道皆可針對一縮放係數(例如標示為SF)，採用一種對應關係(標示為f_SF)加以概括影像複雜度與影像壓縮結果位元率之對應關係，例如是以線性或多項式關係來描述。依據複數個不同的縮放係數(SF1 、SF2 ...SFn )所對應的影像複雜度與結果位元率之對應關係(f_SF1 、f_SF2 ...f_SFn )，就能找出與目標位元率最逼近的縮放係數的估計值。此外，對於不同的縮放係數所對應的影像複雜度與結果位元率之數據受到實驗時，樣本影像之來源所影響，例如是產生樣本影像之影像擷取感測元件之特性、上述空間域影像資料所經過的前置處理或所設定的影像處理參數如ISO、降雜訊處理、圖片大小、曝光時間所影響。但是，由於發明人透過實驗統計數據發現：在空間域上，在相同的縮放係數之下，單一通道之影像複雜度與影像壓縮結果位元率之間存在著高度的相關性，故此，對於一影像擷取裝置而言，可以用多項式來近似地描述此三個參數之兩兩之間的對應關係，以作為估算縮放係數及達到實質上預期的壓縮比例之目的。例如，對於不同的解析度的影像而言，亦可得到相似的比率失真曲線(rate-distortion curves)，而且估算之縮放係數可達到大於90%的準確率。
例如第3圖表示單一通道(如Y通道)在不同的縮放係數下(如從小至大：SFmin …SFi ,SFi+1 ,SFi+2 ,SFi+3 ,SFi+4 ,SFi+5 …SFmax )，對於影像雜訊的程度及影像壓縮結果位元率之間分別存在各自的對應關係(f_SFmin …f_SFi ,f_SFi+1 ,f_SFi+2 ,f_SFi+3 ,f_SFi+4 ,f_SFi+5 …f_SFmax )。對於YCbCr三個通道，例如以多項式模型資料庫(Polynomial Model Database)來加以描述，在此例中以線性關係來描述。多項式模型資料庫例如是包括針對各通道之多個對應關係之多項式的係數，在實作時可以記錄在記憶體中或以程式之資料結構來描述。在步驟S120中，依據步驟S110中所得之Y通道影像雜訊程度及欲求之Y通道影像壓縮位元率(即目標位元率)，在資料庫中可以對應出數個Y通道量化表格縮放係數之多項式模型，從而找出最符合逼近欲求之Y通道影像壓縮位元率的線性關係。如第3圖中，Y通道影像雜訊程度為每單位像素為5時所對應的直線NL上，可找出最接近欲求之Y通道影像壓縮位元率為1.7位元/像素所對應的縮放係數係落入至少兩個已知的縮放係數如SFi+4 及SFi+5 之間，依據對應關係f_SFi+4 及f_SFi+5 ，應用內插法即可得到估算之縮放係數SF_E。相似地，依照上述方法可求得Cb通道與Cr通道所使用的量化表格縮放係數。
第4圖為量化縮放係數內插估算之一示意圖。依據Y通道影像雜訊程度在多項式模型資料庫中可以找到Y通道影像壓縮位元率A及B分別為最接近Y通道影像壓縮目標位元率R的上下限。如第4圖所示，Y通道影像壓縮位元率A及B所對應的量化表格縮放係數α及β可以推導得到其斜率並用內插法求出Y通道影像壓縮目標位元率R的量化表格縮放係數γ，公式如下：
γ=α+(R-B)/(A-B)*(α-β)。
相似地，依照上述方式可求得Cb通道與Cr通道所使用的量化表格縮放係數。
第3圖是以圖像化方式示意一通道上的多項式模型資料庫，當中的對應關係(多項式)所對應的縮放係數大小的間隔，例如是固定常數或非固定常數(即可以用不同間隔)。在另一實施例中，多項式模型資料庫中的每個縮放係數間的間隔(interval)能得以改變，以加速搜尋對應目標縮放係數的過程。如第3圖中，單一通道的不同縮放係數SFmin ,SFi+a ,SFi+b ,SFi+c ,SFi+d ,SFi+e ,SFi+f …SFmax ，間隔a至f等可以是固定常數或非固定常數。
在步驟S110及S112中，可分別計算空間域影像資料SD之色彩空間通道(channel)如Y、Cb及Cr通道之影像複雜度及進而估算各自的縮放係數。此外，就應用的需求或使用者的設定，例如原始影像為黑白影像，可以僅針對亮度(luminance)作計算，或為了色度(chrominance)來計算影像複雜度及估算縮放係數。
上述實施例使得初始化的縮放係數設定，可以在影像編碼後達到近似於預期的壓縮比例。此實施例可使用提供固定大小暫存區故而需要預先決定剩餘之可使用暫存空間、可拍攝影像個數或記錄時間之應用情形中。此方法可以適用於一次處理位元率控制(One-Pass Bit Rate Control)及多次處理位元率控制(Multi-Pass Bit Rate Control)。
請參考第5圖，其為依據本發明之一實施例之影像壓縮之位元率控制裝置10的方塊圖。本實施例如第5圖所示，利用上述之位元率控制方法之實施例，完成對例如YUV444之影像或資料流進行JPEG位元率控制的功能。
影像壓縮之位元率控制裝置10包括一影像品質調整單元100及一影像壓縮單元200。影像品質調整單元100用以進行影像壓縮前的前置影像處理，以提供影像IM之空間域影像資料SD0及估算之縮放係數SF_E以供影像壓縮單元200產生壓縮之影像資料ED。原始的影像IM經由影像品質調整單元100之取樣及色彩空間轉換模組110得到YCbCr資料流，即影像IM之空間域影像資料SD0。影像品質調整單元100處理時為了減少運算量，令YCbCr資料流經由縮放模組120處理，長寬分別減少為原影像長寬的1/2，即空間域影像資料SD，其資料量減少為原資料量的1/4。影像品質調整單元100利用縮放係數估算模組500以分別計算出空間域影像資料SD之Y、Cb、Cr三個通道資料流中影像複雜度，並對於各個通道，依據所得到的影像複雜度及一目標位元率，藉由如前述實施例之縮放係數、影像壓縮結果位元率、影像複雜度之間的對應關係，例如是依據多項式資料庫，估算對應之一縮放係數(如以SF_E表示)，以得到Y、Cb、Cr三個通道量化表格縮放係數。
影像壓縮單元200如第6圖所示，依據估算出的實質上最逼近影像壓縮目標位元率的縮放係數SF_E設定量化表格QT以進行JPEG編碼，產生壓縮之影像資料ED。在進行影像壓縮之時，量化模組220對離散餘弦轉換(DCT)模組210產生的頻率域影像資料，依據各通道的估算之縮放係數SF_E進行量化，之後以可變長度編碼(VLC)模組230完成編碼。而量化表格QT之元素，例如JPEG一般而言，係每一通道各自對應一個含8x8個數值的矩陣，例如獨立JPEG小組(Independent JPEG Group，IJG)提供建議之亮度的量化表及彩度的量化表，又例如各種數位照相機或影像處理軟體亦有各自的亮度及彩度之量化表。如此，可依各通道之縮放係數SF_E，對量化表中的數值進行縮放，以得到各自於進行量化時使用的量化表格QT。
而利用以上實施例的概念，此領域的通常知識者當可應用上述裝置以實現上述之方法之各個實施例式，而且，更可推衍到YUV420和YUV422格式之應用上。
另外，第5圖之實施例更可加入一回授模組550，以使上述利用縮放係數估算模組之位元率控制具有自我控制或調節的功能。
例如回授模組550可實施為檢查影像壓縮結果位元率是否與影像壓縮目標位元率逼近。若逼近的程度如預期範圍則完成一次處理位元率控制；若逼近的程度不如預期範圍則可以使用各式前案多次處理位元率控制方法決定下一次JPEG編碼的縮放係數。由於所估算的縮放係數已經相當逼近影像壓縮理想縮放係數，可被下一次JPEG編碼作參考，如此可減少其各式前案多次處理位元率控制方法的複雜度。
又例如回授模組550可實施為記錄影像壓縮結果位元率與影像壓縮目標位元率以作統計計算，例如以線性或多元迴歸分析的方式，針對如前述實施例之縮放係數、影像壓縮結果位元率、影像複雜度之間的對應關係或甚至其他影像參數，調整或修改多項式資料庫的內容如多項式的係數，或是建立新的多項式，以符合實際應用之系統如影像擷取裝置的特性差異或是更能符合使用者的拍攝特定景物的需要。回授模組550可以用數位電路及記憶暫存器以實現，又其他例子中，回授模組550可以整合到影像品質調整單元100或是縮放係數估算模組500之中或是以可程式化的方式實現。
第6圖為另一實施例，其與第5圖之實施例之差別在於縮放係數估算模組500係獨立成為一模組，例如包括一濾波器模組510及一縮放係數估算器520。濾波器模組510計算影像IM之空間域影像資料SD以輸出相對應的影像複雜度C。縮放係數估算器520，對於各個通道，依據所得到的影像複雜度C及一目標位元率TR，藉由如前述實施例之縮放係數、影像壓縮結果位元率、影像複雜度之間的對應關係，例如已建立的多項式資料庫，估算對應之一縮放係數SF_E，以得到Y、Cb、Cr三個通道量化表格縮放係數。而上述的縮放係數之估算，例如是以查表方式，如以第3或4圖所示意的方式，從多項式資料庫中找出最逼近的位元率的上下限的多項式的係數，從而以內插法求得估算之縮放係數。
在實作上，影像壓縮之位元率控制裝置10可以為一影像處理器或多媒體處理器之單晶片。另外，影像品質調整單元100可以藉由一處理器或數位訊號處理器為基礎的影像處理電路或晶片加以實現，縮放係數估算模組500可以用硬體電路方式、程式化此影像處理電路之方式或是使用基於處理器之影像處理電路之軟硬體之方式，依照上述實施例加以實現。
此外，影像壓縮之位元率控制裝置10及縮放係數估算模組500之實施方式並不以上述實施例為限，任何利用基於如前述實施例之縮放係數、影像壓縮結果位元率、影像複雜度之間的對應關係以估算一通道量化表格縮放係數(或對應到縮放係數之量化表格之參數)之電路，皆可視為涵蓋於本發明之實施方式之中。
例如，在一實施例中，縮放係數估算模組500可實施為接受一目標位元率TR以及來自於一影像處理器在前置影像處理過程中已經產生的邊緣偵測結果，從而作出估算縮放係數。
又例如，在視訊編碼(如MPEG類，如MPEG、MPEG-2)過程中，I畫格(I-frame)相當次一張獨立的影像，亦係基於JPEG的格式壓縮的，故上述實施例亦可推廣應用於視訊編碼的位元率的控制之電路及方法上。又例如，其他依據頻率域影像轉換(如DCT)及其量化的各種影像或視訊編碼如Motion-JPEG及甚至三維的影像格式MPO(multi-picture object)、3D-AVI，亦可依上述實施例應用於視訊編碼的位元率的控制電路及方法之上。
上述實施例揭露了依據本發明之利用估算量化格參數之影像壓縮之位元率控制方法及裝置之實施方式。藉由此估算之量化格參數如縮放係數以進行影像壓縮，能對位元率作出控制從而得到實質上符合預期壓縮比例之結果。經統計，其準確率能大於90%。相對於習知需要多次重覆或涉及頻率域影像資料的估算作法，上述實施例可減少運算的時脈數和減少記憶體的存取量，並能準確的提供使用者攝錄裝置有關暫存區可使用的時間或資料量的資訊。
綜上所述，雖然本發明已以較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。
10．．．影像壓縮之位元率控制裝置
100．．．影像品質調整單元
110．．．取樣及色度空間轉換模組
120‧‧‧縮放模組
200‧‧‧影像壓縮單元
210‧‧‧離散餘弦轉換模組
220‧‧‧量化模組
230‧‧‧可變長度編碼模組
500‧‧‧縮放係數估算模組
510‧‧‧濾波器模組
520‧‧‧縮放係數估算器
550‧‧‧回授模組
SFmin ~SFmax ‧‧‧縮放係數
f_SFmin ~f_SFmax ‧‧‧對應關係
IM‧‧‧影像
SD0、SD‧‧‧空間域影像資料
ED‧‧‧壓縮之影像資料
SF_E‧‧‧估算之縮放係數
TR‧‧‧目標位元率
C‧‧‧影像複雜度
QT‧‧‧量化表格
第1圖繪示依據本發明之一實施例之影像壓縮之位元率控制方法的流程圖。
第2圖繪示Y通道的影像複雜度與影像壓縮結果之位元組數之對應關係之一例子。
第3圖示意一通道上的多項式模型之一實施例。
第4圖為量化縮放係數內插估算之一示意圖。
第5圖係為依據本發明之一實施例之影像壓縮之位元率控制裝置的方塊圖。
第6圖係為之縮放係數估算模組之一另實施例。
S110~S130．．．步驟
SD．．．空間域影像資料
SF_E．．．估算之縮放係數

Claims (12)

  1. 一種影像壓縮之位元率控制方法，包括：依據一影像之空間域影像資料，求得對於一色彩通道該空間域影像資料的影像複雜度；對於該色彩通道，使用該影像複雜度與影像壓縮結果位元率之對應關係，並依據該影像複雜度及一目標位元率，估算對應之一縮放係數；以及在進行該影像的影像壓縮之時，對該影像之頻率域影像資料，依據對應於該色彩通道之該估算之縮放係數進行量化。
  2. 如申請專利範圍第1項所述之位元率控制方法，其中該影像之空間域影像資料是為該影像之原始影像資料經色彩空間轉換及放大縮小後之空間域影像資料流。
  3. 如申請專利範圍第1項所述之位元率控制方法，其中對於該色彩通道，該空間域影像資料的影像複雜度是為基於該空間域影像資料的邊緣或紋理之雜訊之程度。
  4. 如申請專利範圍第1項所述之位元率控制方法，其中對於該色彩通道，該空間域影像資料的影像複雜度是為基於該影像及包含該影像之一影片之至少一場景的影像之像素的差值或場景改變處以作衡量。
  5. 如申請專利範圍第1項所述之位元率控制方法，其中估算對應之該縮放係數之步驟，對於該色彩通道，該縮放係數是基於該色彩通道之複數個縮放係數所對應的影像壓縮結果位元率與影像複雜度之間的對應關係而估算得到。
  6. 一種影像壓縮之位元率控制裝置，包括：一縮放係數估算模組，依據一影像之空間域影像資料，求得對於一色彩通道該空間域影像資料的影像複雜度，並對於該色彩通道，使用該影像複雜度與影像壓縮結果位元率之對應關係，並依據該影像複雜度及一目標位元率，估算對應之一縮放係數；以及一影像壓縮單元，在進行該影像的影像壓縮之時，對該影像之頻率域影像資料，依據對應於該色彩通道之該估算之縮放係數進行量化，以產生影像壓縮資料。
  7. 如申請專利範圍第6項所述之位元率控制裝置，其中該影像之空間域影像資料是為該影像之原始影像資料經色彩空間轉換及放大縮小後之空間域影像資料流。
  8. 如申請專利範圍第6項所述之位元率控制裝置，其中對於該色彩通道，該空間域影像資料的影像複雜度是為基於該空間域影像資料的邊緣或紋理之雜訊之程度。
  9. 如申請專利範圍第6項所述之位元率控制裝置，其中對於該色彩通道，該空間域影像資料的影像複雜度是為基於該影像及包含該影像之一影片之至少一場景的影像之像素的差值或場景改變處以作衡量。
  10. 如申請專利範圍第6項所述之位元率控制裝置，其中該縮放係數估算模組，對於該色彩通道，依據基於該色彩通道之複數個縮放係數所對應的影像壓縮結果位元率與影像複雜度之間的對應關係而估算該縮放係數。
  11. 如申請專利範圍第10項所述之位元率控制裝置，其中該縮放係數估算模組包括： 一濾波器模組，依據該影像之空間域影像資料，求得對於該色彩通道該空間域影像資料的影像複雜度；以及一縮放係數估算器，對於該色彩通道，依據該影像複雜度及該目標位元率，估算對應之該縮放係數。
  12. 如申請專利範圍第11項所述之位元率控制裝置，更包括：一回授模組，用以依據該些影像壓縮結果位元率與該影像壓縮目標位元率以控制該縮放係數估算模組。
TW099113357A 2010-04-27 2010-04-27 影像壓縮之位元率控制方法及其裝置 TWI421798B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW099113357A TWI421798B (zh) 2010-04-27 2010-04-27 影像壓縮之位元率控制方法及其裝置
US13/095,508 US20110261878A1 (en) 2010-04-27 2011-04-27 Bit rate control method and apparatus for image compression

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW099113357A TWI421798B (zh) 2010-04-27 2010-04-27 影像壓縮之位元率控制方法及其裝置

Publications (2)

Publication Number Publication Date
TW201137793A TW201137793A (en) 2011-11-01
TWI421798B true TWI421798B (zh) 2014-01-01

Family

ID=44815780

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099113357A TWI421798B (zh) 2010-04-27 2010-04-27 影像壓縮之位元率控制方法及其裝置

Country Status (2)

Country Link
US (1) US20110261878A1 (zh)
TW (1) TWI421798B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI502550B (zh) * 2012-03-30 2015-10-01 Nation United University Differential layered image compression method
US10230956B2 (en) 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
US10277907B2 (en) 2012-10-25 2019-04-30 Integrated Device Technology, Inc. Rate-distortion optimizers and optimization techniques including joint optimization of multiple color components
RU2607624C1 (ru) * 2015-08-13 2017-01-10 Самсунг Электроникс Ко., Лтд. Способ управления размером выходного файла jpeg сжатия изображения
TWI584642B (zh) * 2016-04-19 2017-05-21 瑞昱半導體股份有限公司 影像濾波裝置及其影像濾波方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5434623A (en) * 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
TWI232684B (en) * 2003-07-25 2005-05-11 Silicon Integrated Sys Corp Apparatus for variable bit rate control in video compression and target bit allocator thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6243497B1 (en) * 1997-02-12 2001-06-05 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
EP2227020B1 (en) * 2007-09-28 2014-08-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
JP5128389B2 (ja) * 2008-07-01 2013-01-23 株式会社日立国際電気 動画像符号化装置及び動画像符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
US5434623A (en) * 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
TWI232684B (en) * 2003-07-25 2005-05-11 Silicon Integrated Sys Corp Apparatus for variable bit rate control in video compression and target bit allocator thereof

Also Published As

Publication number Publication date
US20110261878A1 (en) 2011-10-27
TW201137793A (en) 2011-11-01

Similar Documents

Publication Publication Date Title
US11743471B2 (en) Method and system to improve the performance of a video encoder
US11115662B2 (en) Quantization matrix design for HEVC standard
US7542623B2 (en) Image processing apparatus and method, and computer program and computer-readable storage medium
US9197904B2 (en) Networked image/video processing system for enhancing photos and videos
US20110228846A1 (en) Region of Interest Tracking and Integration Into a Video Codec
US20080298469A1 (en) Bitrate reduction techniques for image transcoding
US20080198932A1 (en) Complexity-based rate control using adaptive prefilter
JPH07154798A (ja) 画像符号化装置および画像符号化方法
WO2003061295A2 (en) Sharpness enhancement in post-processing of digital video signals using coding information and local spatial features
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
TWI421798B (zh) 影像壓縮之位元率控制方法及其裝置
KR101818900B1 (ko) 향상된 동적 범위를 갖는 신호들에 대한 계층간 예측
JP2001292449A (ja) 画像処理装置、画像処理方法、及び記録媒体
CN102238382B (zh) 影像压缩的位率控制方法及其装置
CN109936741B (zh) 视频编码方法和系统
Petrescu et al. Quality and noise measurements in mobile phone video capture
JP2021118404A (ja) 撮像装置及びその制御方法及びプログラム
Okuda et al. Raw image encoding based on polynomial approximation
JP2006271002A (ja) 符号化装置及び符号化方法
Lee High Dynamic Range Image Compression of Color Filter Array Data for the Digital Camera Pipeline
JP2012195849A (ja) 動画像処理装置およびカメラシステム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees