TWI415473B - 視訊位元率控制裝置與方法 - Google Patents

Description

視訊位元率控制裝置與方法

本揭露係關於一種視訊位元率控制裝置與方法。

位元率控制方法可以讓編碼後的總位元數與目標位元率相去不遠。然而，如果沒有參考人類視覺的特性，以這種方法呈現出的效果可能會讓整張畫面的影像品質大同小異，而使得人眼覺得重要的區域沒有被突顯出來，所以在使用位元數的效率上有改進的空間。

美國專利公開號2005/0008075揭露一種支援重要區域(region-of-interest，ROI)的位元率控制方法。此方法先根據每一巨區塊(macroblock，MB)之優先權(priority)計算其巨區塊之權值活動程度(activity)，並將權值活動程度大者歸類為重要區域。根據權值活動程度分配(allocate)每一巨區塊之位元預算值(bit budget)，然後計算估測複雜度(estimated complexity)以及估測量化比例(estimated quantizer scale)因子，並編碼此巨區塊。第一A圖是在一張影像上的巨區塊其優先權表110的一個範例示意圖，例如橢圓區域(oval area)112被定義為一重要區域，並且在橢圓區域112的巨區塊其優先權皆為2；第一B圖是從優先權表110轉換後的量化比例表120，例如優先權為1之巨區塊的量化比例為8，而優先權為2之巨區塊的量化比例為4。重要區域所對應的優先權高於非重要區域(NROI)，但重要區域的界定方式沒有進一步之確切說明。

此位元率控制方法中，畫面內編碼(Intra-coded)巨區塊的活動程度來自於四個8×8區塊亮度(luminance)的變異數(variance)的總和，而畫面間編碼(Inter-coded)巨區塊的活動程度則來自於四個8×8區塊殘餘值(residual)的變異數總和。

美國專利號6,850,565的文獻中，揭露一種即時的位元率控制系統(Real Time Bit Rate Control System)。如第二圖的範例所示，位元率控制系統205對每一張欲編碼的畫面皆有一對應的重要矩陣(interest matrix)，此重要矩陣與一來源模式(source model)210和巨區塊重要性參數搭配運作。而來源模式210結合一重要結構(interest structure)215來產生一量化值，以編碼視訊信號。重要矩陣可由使用者輸入或使用一演算法自動產生。每一巨區塊的位元分配方式是修改二次式位元率失真(rate distortion)模式，加入由重要矩陣得知的巨區塊重要性參數，因此重要區域所分配到的位元數較多，也可以搭配較小的量化參數而有較佳的影像品質。此文獻中，沒有揭露重要區域與非重要區域之交接處巨區塊的量化參數調整上的技術探討。

在Proc. Of IEEE International Conference on Image Processing,pp. 53-56,2006提出的論文“應用於H.264的多優先序重要區域編碼方法(Multiple Priority Region of Interest Coding with H.264)”中，在給定一重要區域後，以重要區域來產生不同層級之漸層區域，離重要區域愈遠的區域其層級愈低，所對應的優先權也較低，在控制位元率時，每一區域初步的位元數分配會考慮此區域的大小、優先權以及根據前一張畫面所估測而來的平均絕對差值(Mean Absolute Difference，MAD)，再透過優先權考量，調整不同層級區域之間的位元數，最後經過二次失真模式求得每一區塊的量化參數值。此論文中，不同優先權其層級之間的權重關係為固定，因此重要區域的影像品質決定因素只跟層級的數量及本身視訊影像的特質有關。

在Proc. Of First International Conference on Industrial and Information Systems,Aug. 2006.論文“搭配有彈性之巨區塊順序(Flexible Macroblock Ordering，FMO)的重要區域編碼方法(Region of Interest Video Coding with Flexible Macroblock Ordering)”中，係先針對非重要區域進行編碼，之後將節省的位元數用於增強重要區域的影像品質。此論文中沒有揭露和探討可以確保重要區域相對於非重要區域之品質的機制，也沒有揭露和探討重要區域與非重要區域在時間軸及兩者交接處的品質平滑度。

本揭露的實施範例可提供一種視訊位元率控制裝置與方法。

在一實施範例中，所揭露者是有關於一種視訊位元率控制裝置，此裝置包含：一重要區域決定模組，對於多張輸入影像中的每一張輸入影像，根據一特徵地圖(saliency map)的資訊或經由一偵測系統處理後的輸出，劃分出此多張輸入影像中的每一張輸入影像中的至少一重要區域和至少一非重要區域；一位元率分配模組，根據一輸入的品質參數，並搭配此至少一重要區域和此至少一非重要區域的面積大小，將一總目標位元數分配成此至少一重要區域和此至少一非重要區域對應的目標位元數；以及一位元率控制模組，根據此至少一重要區域和此至少一非重要區域各自對應的目標位元數以及至少一條件限制，獨立進行該每一張輸入影像中的該至少一重要區域和該至少一非重要區域中巨區塊的位元率控制。

在另一實施範例中，所揭露者是有關於一種視訊位元率控制方法，此方法包含：對於多張輸入影像中的每一張輸入影像，建構一個反應對此輸入影像之每一像素點敏感程度的一特徵地圖，或偵測此多張輸入影像中的每一張輸入影像中一或多個特定物之存在範圍；根據此特徵地圖的資訊或此一或多個特定物之存在範圍的資訊，劃分出此輸入影像中的至少一重要區域和至少一非重要區域；根據一輸入的品質參數，並搭配此至少一重要區域和此至少一非重要區域的面積大小，將一總目標位元數分配成至少一重要區域和此至少一非重要區域各自對應的目標位元數；以及利用一位元率失真模式與根據至少一條件限制，來調整此至少一重要區域和此至少一非重要區域中巨區塊之各自相對應的量化參數，讓此至少一重要區域和此至少一非重要區域內巨區塊的編碼位元率的使用係各自獨立使用在其各自對應的目標位元數的範圍內。

茲配合下列圖式、實施範例之詳細說明及申請專利範圍，將上述及本發明之其他特徵與優點詳述於後。

本揭露的實施範例係在每張欲編碼的視訊畫面給定一目標位元率的情況下，提供一種視訊位元率控制裝置與方法，此視訊位元率控制裝置與方法是針對整張畫面做有效的位元率控制，以結合反應對輸入影像之視覺特性、或輸入影像中一或多個特定物之存在範圍，來區分出重要與不重要區域，之後，對於重要與不重要區域各自獨立進行位元率控制，特定的重要區域可以給予較多的編碼資源，而不重要區域則給予較低的編碼品質，以有效運用有限的位元資源，來達到成功控制位元率，並兼顧保留影像的重要訊息。

第三圖是一種視訊位元率控制裝置的一個範例示意圖，並且與所揭露之某些實施範例一致。參考第三圖，視訊位元率控制裝置300包含一重要區域決定模組320、一位元率分配模組330、以及一位元率控制模組345。

重要區域決定模組320對於多張輸入影像中的每一張輸入影像312，根據一特徵地圖314的資訊，例如由一特徵地圖建立模組310對於輸入影像312建構反應對輸入影像312之每一像素點敏感程度的特徵地圖，或經由一偵測系統360處理後的輸出，例如偵測系統360偵測輸入影像312中一或多個特定物之存在範圍364，來劃分出輸入影像312中的重要區域312a和非重要區域312b。視訊位元率控制裝置300也可以更包括特徵地圖建立模組310或偵測系統360，或特徵地圖建立模組310與偵測系統360都包括。特徵地圖314可包含有空間域和時間域之輸入影像312中的至少一特徵，例如，人眼對影像中像素點敏感程度的特徵可考量用來形成此特徵地圖。

位元率分配模組330根據一輸入的品質參數332，搭配輸入影像312中的重要區域和非重要區域的面積大小，將輸入影像312的一總目標位元數作一適當的位元數分配，分配成輸入影像312中的重要區域和非重要區域兩種區域各自對應的目標位元數，即重要區域目標位元數334與非重要區域目標位元數336。位元率控制模組345根據重要區域與非重要區域兩種區域個別對應的目標位元數，以及至少一條件限制342，獨立進行輸入影像312中的重要區域與非重要區域中巨區塊的位元率控制，即重要區域位元率控制340與非重要區域位元率控制350。

重要區域與非重要區域巨區塊之位元率控制可各自獨立進行，說明如下。每一輸入影像在一開始分配好重要區域與非重要區域各自對應的目標位元數後，此輸入影像之各巨區塊的編碼所需的目標位元數係取用自其所對應的重要區域或非重要區域。此兩種區域之巨區塊編碼所能運用的位元數並不互通，直到該輸入畫面內的巨區塊全部編碼完畢並進行下一輸入畫面的編碼時，再重行計算下一張輸入畫面所分配的總目標位元數。

由於重要區域與非重要區域係依據一開始由品質參數332及兩者面積大小所訂定的位元數分配來進行編碼，因此在各自目標位元數的分配及使用上係獨立的。然重要與非重要區域位元數的使用雖係獨立，並不代表各自區域內巨區塊的量化參數指定係為獨立進行。例如，位元率控制模組345對重要區域或非重要區域中巨區塊之量化參數的調整所依據的至少一條件限制342可能來自重要區域與非重要區域兩者之交界區域之量化參數值的限制。

特徵地圖建立模組310可根據空間域中影像內容的特徵，例如亮度對比(luminance contrast)、互補色(color-double-opponent)、紋路(texture)和人臉膚色(facial skin color)等，及時間域中的影像特徵，例如運動向量強度大小等來產生特徵影像，並結合各種特徵影像來形成特徵地圖314。也就是說，在特徵地圖314的資訊中，可包含空間域(spatial domain)和時間域(temporal domain)的影像特徵。每一特徵影像可以賦予一個與該特徵相關的權重(weight)，而利用這些權重將每一像素的這些特徵值加總結合起來，系統可以提供對輸入影像312中的每一像素點(或每一巨區塊)的人眼視覺重要性區分，例如，對比較重要的像素給予較大的特徵值(saliency)。也就是說，特徵地圖314可代表人眼對每一像素注視重視的程度。對比較吸引人眼視覺注意的像素可給予較大的特徵值。

第四圖是一範例示意圖，說明特徵地圖與重要區域的產生，並且與所揭露之某些實施範例一致。第四圖的範例中，對於每一張輸入影像的內容，分析空間域中亮度對比、互補色、紋路和人臉膚色以及時間域中運動向量的影像特徵，並產生相對應的六個特徵影像，即亮度對比的特徵影像410、RG互補色的特徵影像422與BY互補色的特徵影像424、紋路的特徵影像430、人臉膚色的特徵影像440、以及運動向量的特徵影像450。然後，此六個範例特徵影像的每一特徵影像可以賦予一個與該特徵相關的權重值，假設此六個特徵影像410、422、424、430、440、以及450的權重值分別為w1至w6，例如w1=w2=w3=w5=1，w4=2，w6=4。則以各權重值結合此六個範例特徵影像可形成一範例特徵地圖460。再將範例特徵地圖460經進一步處理(例如二值化)後，可決定並產生出此輸入影像的重要區域470，其餘區域則為非重要區域。

範例特徵地圖的組成並不限於上述所提出的六種影像特徵，與人眼對影像中像素點敏感程度的特徵皆可考量用來形成特徵地圖。除了經由影像特徵處理之外，重要區域也可以不經由特徵地圖的估算，而經由使用者在編碼器編碼之前預先指定(例如將影像的中央某部份界定為重要區域)，或是可經由其他影像處理子系統(例如人臉偵測器統、車牌偵測系統)來界定。

位元率分配模組330對目前畫面之目標位元率的估測方式可由多種方式來求得，例如經由一適應性基本單元層的位元率控制(Adaptive Basic Unit Layer Rate Control)而求得。而品質參數K的值可代表平均每一重要區域內的巨區塊所分配到的位元數為每一非重要區域內巨區塊所分配到的位元數的K倍，所以改變品質參數K的值可以決定分配給重要區域之位元數的多寡。品質參數K值可以由使用者事先決定重要/非重要區域的相對位元率分配，而間接調整重要/非重要區域的相對影像品質。

當K值愈大時，重要區域內巨區塊的影像品質將遠優於非重要區域的品質。但因為非重要區域內巨區塊仍需要最基本的位元數量來完成編碼，所以實際可達到的K值也是有限的，太大的K值要求，在實際上可能無法達成。較大的K值設定可以讓非重要區域被給予較低的編碼品質，而讓有限的位元率提供給重要區域以作更加有效的運用。

至少一條件限制係對重要區域和非重要區域中巨區塊之各自相對應的量化參數的條件限制。位元率控制模組345還可包括一量化參數調整模組，此量化參數調整模組可根據一位元率失真模式與此至少一條件限制，來調整重要區域和非重要區域中各巨區塊之相對應量化參數，讓重要區域和非重要區域之位元率的使用被控制在其個別對應的目標位元數的範圍內。

所以，對於重要區域位元率控制340與非重要區域位元率控制350，此量化參數調整模組可先分別利用一位元率失真模式，例如二次式位元率失真模式，來決定輸入影像312中重要區域中巨區塊之各自相對應的一初始量化參數。如果每一巨區塊所初步計算出的量化參數值沒有考慮空間域上與時間域上的連續性，加上重要區域與非重要區域的位元率控制是各自獨立進行的，則在此兩種區域之交界處的量化參數值可能會有很大的差異，而造成此交接處的影像品質不平順而影響視覺感受。所以，量化參數調整模組得到初始量化參數之後，還需要考量一些“時間、空間、區域交互性”等前述這些條件限制，來進行量化參數值的調整。

量化參數調整模組分別計算出重要區域中巨區塊之各自相對應的初始量化參數值後，分別再考量對輸入影像312中的重要區域與非重要區域中巨區塊之量化參數的至少一條件限制，來調整初始量化參數值至一最終量化參數值，以進行重要區域與非重要區域中巨區塊的編碼。也就是說，在位元率控制模組345中，對輸入影像312中的重要區域的位元率控制與非重要區域的位元率控制雖是獨立進行，但對於各區域內巨區塊量化參數的指定仍需考量區域相互之間的影響。

輸入影像312中的重要區域或是非重要區域中巨區塊之量化參數的至少一條件限制例如是前一張輸入影像之重要區域與非重要區域中巨區塊之平均量化參數值的限制、或是來自同一影像中前一個已編碼完成巨區塊的量化參數值的限制、或是重要區域與非重要區域兩者之交界區域之量化參數值的限制、或是來自前一張影像之位元率控制的結果等。位元率控制模組345分別經由前述量化參數之限制條件的調整，可在速率控制過程中考慮不同漸層之區域之間的連續性，讓影像品質更加平順，以及位元率的使用能精確地控制在目標範圍內。而最後所決定之該巨區塊的量化參數值被送往一巨區塊編碼模組，此巨區塊編碼模組可根據位元率控制模組345傳送過來的量化參數值，據以對重要區域或非重要區域中一相對應之巨區塊來進行編碼。

每一輸入影像中的重要區域與非重要區域中巨區塊之量化參數的至少一條件限制可以由一限制條件資料庫來儲存。位元率控制模組345也可以透過一查詢表，來查詢畫面中各重要區域的面積大小、以及各自對應的目標位元數與所應指定的固定量化參數值。此限制條件資料庫或查詢表也可以建立在視訊位元率控制裝置300中。

視訊位元率控制裝置300進行重要區域位元率控制340與非重要區域位元率控制350之前，將每一畫面一開始的總位元數依據品質參數332，分配給重要與非重要區域兩個區域，再各自獨立進行位元率控制，可以避免非重要區域受重要區域的影響而無法達到最低品質保障。其結合人眼視覺特性可以讓較多資源分配在重要的區域，而非重要區域也有基本的影像品質。

承上述，第五圖是視訊位元率控制方法的一個範例流程圖，並且與所揭露之某些實施範例一致。在第五圖的範例中，首先，對於多張輸入影像中的每一張輸入影像，建構一個「反應對此輸入影像之每一像素點敏感程度」的一特徵地圖，或偵測此多張輸入影像中的每一張輸入影像中一或多個特定物之存在範圍，如步驟510所示。然後，根據此特徵地圖的資訊或此一或多個特定物之存在範圍的資訊，劃分出此輸入影像中的至少一重要區域和至少一非重要區域，如步驟520所示。根據一輸入的品質參數，並搭配此至少一重要區域和此至少一非重要區域的面積大小，將一總目標位元數分配成至少一重要區域和此至少一非重要區域各自對應的目標位元數，如步驟530所示。利用一位元率失真模式與根據至少一條件限制，來調整此至少一重要區域和此至少一非重要區域中巨區塊之各自相對應的量化參數，讓此至少一重要區域和此至少一非重要區域內巨區塊的編碼位元率的使用係各自獨立使用在其各自對應的目標位元數的範圍內，如步驟540所示。

如前所述，此至少一條件限制係對至少一重要區域和至少一非重要區域的巨區塊之各自相對應的量化參數的條件限制。關於前一張輸入影像之重要區域與非重要區域的巨區塊之平均量化參數值的限制，說明如下。因為前一張影像與後一張影像的品質差距不宜相距太大，所以目前巨區塊之量化參數值需與前一張影像之平均量化參數值的差異不能過大，如此在播放視訊時才不會產生視覺上不舒適的感覺。而重要區域之目前巨區塊參考的是前一張影像中重要區域的平均量化參數值，同理，非重要區域之目前巨區塊參考的是前一張影像內非重要區域的平均量化參數值。

關於來自同一張影像中前一個已編碼完成之巨區塊的量化參數值的限制，說明如下。目前巨區塊之量化參數值必須考量前一個已編碼完成之巨區塊的量化參數值。若兩者同屬一樣性質的區域，例如同樣是屬重要區域或同樣是屬非重要區域，則兩者的量化參數值宜儘量相近；若兩者分屬不同性質的區域，則宜參考重要區域與非重要區域交界區域之量化參數值之限制的處理方法。

關於重要區域與非重要區域交界區域之量化參數值的限制，說明如下。如果非重要區域與重要區域在交界處的巨區塊之量化參數值與鄰近重要區域的巨區塊的量化參數值差異較小時，可以讓相鄰區域之影像品質的差距較小，視覺感知上也會較平順，但有可能讓此交接處的非重要區域的巨區塊花費較多的位元數，而使目前影像的編碼位元數超出目標位元數，如此會影響之後影像畫面所能分配到的位元數，而造成不佳的位元率控制結果。另一方面，如果非重要區域與重要區域交界處的巨區塊之量化參數值與鄰近重要區域的巨區塊之量化參數值的差距若過大，則可能會造成區塊效應，所以在重要區域與非重要區域兩者之交接處的區塊必需適當的調整其量化參數值。

關於來自前一張影像之位元率控制的結果，說明如下。前一張影像編碼完成後，將會根據其目標位元數的使用狀況作為目前巨區塊之量化參數值增減的依據。若前一張影像所使用的位元數比給定的目標位元數超出一給定的門檻值時，代表前一張影像所使用的量化參數值明顯過小，因此目前影像之巨區塊的量化參數值也將適當地調高；若前一張影像所使用的位元數比給定的目標位元數低於一給定的門檻值時，則將調低目前巨區塊的量化參數值。此種考量是想要藉由觀察已經編碼完畫面的位元使用狀況，來調整後面還未編碼之影像的量化參數值，使最後使用的總位元數和給定的目標位元數相近。

在步驟510中，例如可針對每一輸入影像來產生不同之特徵影像的資訊(如前述之運動向量、亮度對比、互補色、紋路和人臉膚色等)，並經過適當的權重線性組合後產生符合人眼視覺特性的特徵地圖。在步驟520中，例如可搭配適當的門檻值，來決定出此輸入影像中人眼較為注視區域，並歸類為重要區域，不屬於重要區域則歸類為非重要區域。在步驟540之前，也可以先判斷重要區域佔據影像的畫面區域是否夠小，如果重要區域的面積大小與輸入影像之畫面區域的面積大小的比例夠小，例如小於一門檻值時，也可以指定一特定的量化參數值給此重要區域中的巨區塊。此特定的量化參數值可根據一查詢表，來查詢此重要區域中的巨區塊所應指定的固定量化參數值。如果重要區域的面積大小與輸入影像之畫面區域的面積大小的比例夠小，也可以適度減少非重要區域的目標位元率。

在步驟540中，重要區域與非重要區域係各自獨立進行位元率控制。如第六圖的範例流程所示，先判斷一巨區塊是否屬於重要區域(步驟640)。當一巨區塊是屬於重要區域時，進行重要區域位元率控制(步驟650)；當一巨區塊不屬於重要區域時(即屬於非重要區域)，則進行非重要區域位元率控制(步驟660)。得知此巨區塊是屬於重要區域或是非重要區域後，重要區域位元率控制與非重要區域位元率控制皆可各自利用一位元率失真模式與根據至少一條件限制，來調整此巨區塊之各自相對應的量化參數，讓此巨區塊之位元率的使用在相對應的目標位元數的範圍內。也就是說，重要區域與非重要區域之位元率控制的範例流程可設計為對稱而雷同的，但係各自獨立進行。

得到巨區塊的量化參數值之後，即重要區域位元率控制或非重要區域位元率控制完成之後，即可據此量化參數值來編碼巨區塊(步驟670)，此編碼包含如移動搜尋、移動補償、畫面內預測、整數離散係數轉換(Discrete Coefficient Transform，DCT)、量化以及Entropy編碼等動作。編碼完此巨區塊後，更新重要區域與非重要區域各自剩下的目標位元數與相關參數(步驟680)，因為編碼完每一巨區塊後，剩餘的位元數即是原本目標位元數扣除已編碼完成巨區塊所實際使用的位元數。接著，編碼下一個巨區塊(步驟690)；在編碼下一個巨區塊時，也會更新相關的編碼參數並分配此下一巨區塊的目標位元數。步驟670、680、690可藉由一巨區塊編碼模組來進行，以完成每一輸入影像的編碼。

如第七A圖的範例流程所示，重要區域位元率控制650可包含子步驟751、753、755、757、759；如第七B圖的範例流程所示，非重要區域位元率控制660可包含子步驟761、763、765、767、769。

參考第七A圖的範例流程，先判斷重要區域目前剩下的目標位元數是否大於零(子步驟751)；若目前剩下的目標位元數小於零，則根據重要區域之至少一第一條件限制來決定此巨區塊的量化參數值(子步驟759)，例如是一設定的(default)條件限制，此設定的條件限制是由前一張已編碼完成的同性質區域所使用的平均量化參數值加上一固定偏移量(例如3)來做為此巨區塊的量化參數值。

若目前剩下的目標位元數大於零，則估計編碼此巨區塊所需的目標位元數(子步驟753)；然後，利用一位元率失真模式來得到一對應的量化參數值(子步驟755)，即為初始量化參數值；再根據重要區域之至少一第二條件限制來調整初始量化參數與決定此巨區塊的最終量化參數值(子步驟757)。子步驟755中，先計算求得初始量化的階大小(step size)，再得到對應的量化參數值。

子步驟757中，重要區域之第二條件限制是額外的(extra)條件限制，此額外的條件限制係選自時間、空間、區域交互性之前述三種特性之其中一種組合的限制，例如之前所述，是前一張輸入影像之重要區域之巨區塊之平均量化參數值的限制、或是來自同一影像中前一個已編碼完成巨區塊的量化參數值的限制、或是重要區域與非重要區域兩者之交界區域之量化參數值的限制(區域交互性的限制)、或是來自前一張影像之位元控制的結果等，此額外的條件限制可做為增減此巨區塊之量化參數值的依據，如此可使此巨區塊之位元超用和過剩的狀況趨緩及變少，進而達到接近目標位元數的結果。

當非重要區域之位元率控制的範例流程設計為對稱而雷同時，子步驟761、763、765、767、769則可根據子步驟751、753、755、757、759，僅將重要區域分別改為非重要區域即可，如第七B圖的範例流程所示，不再重述。

也就是說，在本揭露之實施範例中，其位元率控制係對於每一張輸入影像，先建構一反應對此影像之每一像素點敏感程度的特徵地圖，或偵測此影像中的每一張輸入影像中一或多個特定物之存在範圍。然後根據此特徵地圖的資訊，或此一或多個特定物之存在範圍的資訊，劃分出此影像中的重要區域和非重要區域。再根據一品質參數，搭配此影像中的重要區域和非重要區域的面積大小，將此影像的一總目標位元數作一適當的位元數分配，分別計算出此影像中的重要和非重要兩種區域個別的目標位元數。在給定各自的目標位元數後，重要區域和非重要區域可獨立地進行位元率控制，其中影像中的每一巨區塊可利用二次失真模式來估測一初始量化參數值，並搭配時間、空間以及區域交互性的至少一條件限制進行量化參數值的調整，後續進行編碼。在更新相關參數後，可繼續下一個巨區塊的位元率控制與編碼。依此，完成各影像中此兩種區域裡巨區塊的位元率控制。

以下將本揭露的實施範例實現於三種不同的位元速率環境，來驗證一Foreman視訊序列之位元速率控制結果，其編碼平台的範例為JM。其中，第八圖是位元速率控制之相關編碼參數的一個範例示意圖，並且與所揭露之某些實施範例一致。第八圖的範例中，以100張影像的畫面，例如人臉或車牌等影像畫面，為例。重要區域與非重要區域兩者之平均面積比為8比25，約為1比3。第九圖至第十一圖是Foreman視訊序列在三種不同位元速率，分別為286Kbps、143Kbps、以及79.2Kbps，的實驗結果，並且與所揭露之某些實施範例一致，其中，T_ROI和T_NROI分別代表實際上重要區域內平均每一巨區塊與非重要區域內平均每一巨區塊所分配到的位元數；品質參數K值代表理想上平均每一重要區域內巨區塊所分配到的位元數為每一非重要區域內巨區塊所分配到的位元數的K倍；峰值信噪比(Peak Signal To Noise Ratio，PSNR)值越大，代表影像品質失真越少。

由第九圖至第十一圖之實驗結果的範例看來，T_ROI與T_NROI之實際比值與所設定的品質參數K值差異不大。然而，隨著整個視訊的目標位元率下降時，T_ROI與T_NROI之實際比值將小於設定的K值。其原因在於，在低位元率的情況下，非重要區域仍需要基本的位元數量來完成編碼，而無法無限制的節省位元數來提供給重要區域使用。

並且，第九圖至第十一圖提供兩種比較對象的實驗結果的範例看來，包括固定量化參數值的情況(亦即沒有位元速率控制)、以及開啟JM編碼平台本身內含的位元速率控制方法。由第十圖的數據可觀察到，在固定量化參數值(例如35)的情況下，T_ROI與T_NROI之實際比值大約為2.84左右；而重要區域的峰值信噪比值(33.07)與非重要區域的峰值信噪比值(32.86)相近。而JM編碼平台開啟位元速率控制時，其T_ROI與T_NROI之實際比值偏小，約為2.04左右，且重要區域的峰值信噪比值(32.35)略小於非重要區域的峰值信噪比值(32.98)，代表編碼平台本身的位元速率控制方法無法讓人眼所著重區域得到較好的影像品質。

反觀本揭露的實施範例在重要區域與非重要區域之峰值信噪比的表現上，由第九圖至第十一圖之實驗結果的範例可發現，隨著品質參數K值的增加，在重要區域的峰值信噪比值遠優於非重要區域的峰值信噪比值。例如，在高位元率286Kbps的情況下，重要區域的峰值信噪比值較非重要區域的峰值信噪比值高上6dB之多。所以，本揭露的實施範例在給定的目標位元率下，可以在人眼較著重的重要區域有較佳的品質表現，並且可優先保留重要的訊息。

綜上所述，本揭露的實施範例可提供一種視訊位元速率控制裝置與方法。在有限的編碼總位元率下，考慮時間、空間、或區域交互性等特性限制，進行量化參數值的調整，讓影像品質更加平順。能夠對影像中的重要區域給予較高的編碼品質，而非重要區域給予較低的編碼品質，以有效運用有限的位元率。重要區域與非重要區域的決定可來自於一個以視覺特性為基礎的特徵地圖的資訊或是偵測出的一或多個特定物之存在範圍的資訊，也可以是事先設定的固定區域。本揭露的實施範例可應用於監控視訊環境中對所欲監控目標、或在視訊通訊等環境中對主體目標之特定區域(例如人臉、車牌等)，來加強影像的品質。

以上所述者僅為本揭露之實施範例，當不能依此限定本發明實施之範圍。即大凡本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍。

110．．．優先權表

112．．．橢圓區域

120．．．量化比例表

205．．．位元率控制系統

210．．．來源模式

215．．．重要結構

300．．．視訊位元率控制裝置

310．．．特徵地圖建立模組

312．．．輸入影像

312a．．．重要區域

312b．．．非重要區域

314．．．特徵地圖

320．．．重要區域決定模組

330．．．位元率分配模組

332．．．品質參數

334．．．重要區域目標位元數

336．．．非重要區域目標位元數

345．．．位元率控制模組

342．．．至少一條件限制

340．．．重要區域位元率控制

350．．．非重要區域位元率控制

360．．．偵測系統

364．．．特定物之存在範圍

410．．．亮度對比的特徵影像

422．．．RG互補色的特徵影像

424．．．BY互補色的特徵影像

430．．．紋路的特徵影像

440．．．人臉膚色的特徵影像

450．．．運動向量的特徵影像

460．．．範例特徵地圖

470．．．重要區域

w1至w6．．．六個特徵影像的權重值

510．．．對於多張輸入影像中的每一張輸入影像，建構「反應對此輸入影像之每一像素點敏感程度」的一特徵地圖，或偵測此多張輸入影像中的每一張輸入影像中一或多個特定物之存在範圍

520．．．根據此特徵地圖的資訊或此一或多個特定物之存在範圍的資訊，劃分出此輸入影像中的至少一重要區域和至少一非重要區域

530．．．根據一輸入的品質參數，並搭配此至少一重要區域和此至少一非重要區域的面積大小，將一總目標位元數分配成此至少一重要區域和此至少一非重要區域各自對應的目標位元數

540．．．利用一位元率失真模式與根據至少一條件限制，來調整此至少一重要區域和此至少一非重要區域中巨區塊之各自相對應的量化參數，讓此至少一重要區域和此至少一非重要區域內巨區塊的編碼位元率的使用係各自獨立使用在其各自對應的目標位元數的範圍內

640．．．判斷一巨區塊是否屬於重要區域

650．．．重要區域位元率控制

660．．．非重要區域位元率控制

670．．．編碼巨區塊

690．．．編碼下一個巨區塊

680．．．更新重要區域與非重要區域各自剩下的目標位元數與相關參數

751．．．判斷重要區域目前剩下的目標位元數是否大於零

753、763．．．估計編碼此巨區塊所需的目標位元數

755、765．．．利用一位元率失真模式來得到一初始量化參數值

757．．．根據重要區域之至少一第二條件限制來調整初始量化參數與決定此巨區塊的最終量化參數值

759．．．根據重要區域之至少一第一條件限制來決定此巨區塊的量化參數值

761．．．判斷非重要區域目前剩下的目標位元數是否為零

767．．．根據非重要區域之至少一第二條件限制來調整與決定此巨區塊的量化參數值

769．．．根據非重要區域之至少一第一條件限制來決定此巨區塊的量化參數值

T_ROI．．．重要區域內平均每一巨區塊分配到的位元數

T_NROI．．．非重要區域內平均每一巨區塊所分配到的位元數

第一A圖是在一張影像上的巨區塊其優先權表的一個範例示意圖。

第一B圖是從第一A圖之優先權表轉換後的量化比例表的一個範例示意圖。

第二圖是一種即時的位元率控制系統的一個範例示意圖。

第三圖是一種視訊位元率控制裝置的一個範例示意圖，並且與所揭露之某些實施範例一致。

第四圖是一範例示意圖，說明特徵地圖與重要區域的產生，並且與所揭露之某些實施範例一致。

第五圖是視訊位元率控制方法的一個範例流程圖，並且與所揭露之某些實施範例一致。

第六圖是一範例流程圖，說明重要區域與非重要區域各自獨立進行位元率控制，以及後續的編碼，並且與所揭露之某些實施範例一致。

第七A圖與第七B圖是範例流程圖，分別說明重要區域與非重要區域進行位元率控制的子步驟，並且與所揭露之某些實施範例一致。

第八圖是一Foreman視訊序列之位元速率控制之相關編碼參數的一個範例示意圖，並且與所揭露之某些實施範例一致。

第九圖至第十一圖是一Foreman視訊序列分別在三種不同位元速率下的控制結果的範例示意圖，並且與所揭露之某些實施範例一致。

300．．．視訊位元率控制裝置

310．．．特徵地圖建立模組

312．．．輸入影像

312a．．．重要區域

312b．．．非重要區域

314．．．特徵地圖

320．．．重要區域決定模組

330．．．位元率分配模組

332．．．品質參數

334．．．重要區域目標位元數

336．．．非重要區域目標位元數

345．．．位元率控制模組

342．．．至少一條件限制

340．．．重要區域位元率控制

350．．．非重要區域位元率控制

360．．．偵測系統

364．．．特定物之存在範圍

Claims (16)

1. 一種視訊位元率控制裝置，該裝置包含：一重要區域決定模組，對於多張輸入影像中的每一張輸入影像，根據一特徵地圖的資訊或經由一偵測系統處理後的輸出，劃分出該多張輸入影像中的每一張輸入影像中的至少一重要區域和至少一非重要區域；一位元率分配模組，根據一輸入的品質參數，並搭配該至少一重要區域和該至少一非重要區域的面積大小，將一總目標位元數分配成該至少一重要區域和該至少一非重要區域對應的目標位元數；以及一位元率控制模組，根據該至少一重要區域和該至少一非重要區域各自對應的目標位元數以及至少一條件限制，獨立進行該每一張輸入影像中的該至少一重要區域和該至少一非重要區域中巨區塊的位元率控制；其中該位元率控制模組還包括一量化參數調整模組，來決定該至少一重要區域和該至少一非重要區域中巨區塊之各自相對應的一初始量化參數，並根據對該至少一重要區域和該至少一非重要區域中巨區塊之量化參數的該至少一條件限制，來調整該初始量化參數至一最終量化參數。
2. 如申請專利範圍第1項所述之視訊位元率控制裝置，該裝置更包括一特徵地圖建立模組，該特徵地圖建立模組對於該多張輸入影像中的每一張輸入影像，建構反應對該輸入影像之每一像素點敏感程度的一特徵地圖，該特徵地圖包含有空間域和時間域之該多張輸入 影像中的每一張輸入影像中的至少一特徵。
3. 如申請專利範圍第1項所述之視訊位元率控制裝置，該裝置更包括一偵測系統，該偵測系統偵測該多張輸入影像中的每一張輸入影像中一或多個特定物之存在範圍。
4. 如申請專利範圍第1項所述之視訊位元率控制裝置，其中該至少一條件限制係對該至少一重要區域和該至少一非重要區域中巨區塊之各自相對應的量化參數的條件限制。
5. 如申請專利範圍第1項所述之視訊位元率控制裝置，該裝置對於該至少一特徵的每一特徵的像素點賦予一個與該特徵相關的權重值，並結合每一特徵的像素點值，來提供對該每一張輸入影像中的每一像素點或每一巨區塊的人眼視覺重要性區分。
6. 如申請專利範圍第1項所述之視訊位元率控制裝置，其中該位元率控制模組透過一查詢表，查詢該至少一重要區域的面積大小以及各自對應的目標位元數與所應指定的固定量化參數值。
7. 如申請專利範圍第1項所述之視訊位元率控制裝置，其中該至少一重要區域和該至少一非重要區域各自對應的至少一條件限制係由一限制條件資料庫來儲存。
8. 如申請專利範圍第1項所述之視訊位元率控制裝置，其中該最終量化參數被傳送至一巨區塊編碼模組，該巨區塊編碼模組根據該最終量化參數值，對該至少一重要區域或該至少一非重要區域中一相對應之巨區塊 來進行編碼。
9. 一種視訊位元率控制方法，該方法包含：對於多張輸入影像中的每一張輸入影像，建構一個反應對該多張輸入影像中的每一張該輸入影像之每一像素點敏感程度的一特徵地圖，或偵測該多張輸入影像中的每一張輸入影像中一或多個特定物之存在範圍；根據該特徵地圖的資訊或該一或多個特定物之存在範圍的資訊，劃分出該每一張輸入影像中的至少一重要區域和至少一非重要區域；根據一輸入的品質參數，並搭配該至少一重要區域和該至少一非重要區域的面積大小，將一總目標位元數分配成該至少一重要區域和該至少一非重要區域各自對應的目標位元數；以及利用一位元率失真模式與根據至少一條件限制，來調整該至少一重要區域和該至少一非重要區域中巨區塊之各自相對應的量化參數，讓該至少一重要區域和該至少一非重要區域內巨區塊的編碼位元率的使用係各自獨立使用在其各自對應的目標位元數的範圍內。
10. 如申請專利範圍第9項所述之視訊位元率控制方法，其中在該至少一重要區域中，對於屬於該至少一重要區域中的一巨區塊，該方法還包括：判斷該至少一重要區域目前剩下的目標位元數是否大於零；不是的話，根據該至少一重要區域之至少一第一條件限制來決定該巨區塊的一量化參數值； 是的話，進行下列所有步驟：估計編碼該巨區塊所需的位元數；利用該位元率失真模式來得到一初始量化參數值；以及根據該至少一重要區域之至少一第二條件限制來調整該初始量化參數值並決定該巨區塊的一最終量化參數值。
11. 如申請專利範圍10項所述之視訊位元率控制方法，其中將該總目標位元數分配成該至少一重要區域和該至少一非重要區域各自對應的目標位元數之後，該方法還包括：先判斷該至少一重要區域的面積大小與該輸入影像之畫面區域的面積大小的比例是否小於一門檻值；以及是的話，則指定一特定的量化參數值給該至少一重要區域中的巨區塊，否則才利用該位元率失真模式與根據該至少一條件限制來調整該至少一重要區域和該至少一非重要區域中巨區塊之各自相對應的量化參數。
12. 如申請專利範圍第10項所述之視訊位元率控制方法，其中該最終量化參數值被傳送至一巨區塊編碼模組，該巨區塊編碼模組據以進行編碼該巨區塊，並更新該至少一重要區域之目標位元數與相關參數，以及編碼該至少一重要區域之下一個巨區塊，以完成每一輸入影像的編碼。
13. 如申請專利範圍第12項所述之視訊位元率控制方法，其中該至少一第一條件限制係由前一張已編碼完成的該至少一重要區域所使用的平均量化參數值加上一固 定偏移量來做為該巨區塊的量化參數值。
14. 如申請專利範圍第10項所述之視訊位元率控制方法，其中該至少一第二條件限制係選自時間、空間、區域交互性之前述三種特性之其中一種組合的限制。
15. 如申請專利範圍第14項所述之視訊位元率控制方法，其中該至少一第二條件限制至少包括該至少一重要區域與該至少一非重要區域兩者之交界區域之量化參數值的限制。
16. 如申請專利範圍9項所述之視訊位元率控制方法，其中該特徵地圖反應人眼對該多張輸入影像中的每一張該輸入影像之每一像素點敏感程度。