TWI545961B

TWI545961B - 固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置

Info

Publication number: TWI545961B
Application number: TW100123914A
Authority: TW
Inventors: 潘佳河; 張哲瑋; 涂晉豪; 陳水淋
Original assignee: 華晶科技股份有限公司
Priority date: 2011-07-06
Filing date: 2011-07-06
Publication date: 2016-08-11
Also published as: US20130011061A1; US8515189B2; TW201304548A

Description

固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置

本發明關於一種影像壓縮方法、影像解壓縮方法及其電子裝置，特別是一種用於數位影像之原始數據(raw data)的固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置。

數位相機等裝置最初由電荷耦合裝置(charge coupled device，CCD)等多圖場感測器(multi-field sensor)所能得到的數據係原始數據(raw data)，原始數據尚須經過影像處理裝置進行許多的處理才能提供給使用者觀賞。但是現有壓縮原始數據的技術多採用無失真壓縮(lossless compression)或是非視覺性失真壓縮(not visible lossy compression)，而難以控制壓縮後的檔案大小。此類壓縮方式能夠節省的空間並不一定，只能在實際壓縮完後確認省下了多少儲存空間。最新的影像訊號處理器(image signal processor，ISP)多改用以影像排(band)為單位處理。但以多圖場感測器並非以固定的順序輸出原始數據，因此會產生難以同時兼顧多圖場感測器輸出的圖場次序以及以影像排為單位處理的問題。尤其在如何在壓縮後的位元流中，兼顧上述兩者以界定圖場以及影像排的邊界十分地困難。

此外，即使只需影像中部分的影像排，最直覺的方法就是將整個壓縮結果解碼回全解析度(full resolution)後，再選取所需的部分作進一步的處理。這種做法需要預備有能夠容納全解析度之影像的記憶體。且隨著時代進步，影像的解析度增長快速，更加重了解碼時的負擔。

為了解決上述問題，本發明提供一種固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置。電子裝置包括一多圖場感測器(multi-field sensor)、一記憶體以及一編解碼器封套模組(codec wrapper module)。多圖場感測器以一圖場次序產生一影像的一原始數據(raw data)，其中影像包括多個圖列(line)，且每一個圖列對應一圖場索引(field index)。編解碼器封套模組包括至少一編碼器及至少一解碼器，其個別執行固定壓縮倍率的影像壓縮方法以及影像解壓縮方法。

固定壓縮倍率的影像壓縮方法將影像的原始數據以一預定倍率壓縮成一影像位元流(bit stream)。固定壓縮倍率的影像壓縮方法包括：將影像分割為多個影像排，其中每一個影像排包括至少一個圖列；依據壓縮倍率以及原始數據的一位元流長度，於記憶體內指定一存放空間；依據壓縮倍率以及原始數據的位元流長度，將存放空間分割為多個壓縮排區，壓縮排區係個別對應於影像排；紀錄每一個壓縮排區的起始位置為一目前終止位置；依序接收圖列；將這些圖列個別壓縮成為多個壓縮位元流；以及依據這些圖列的圖場索引、多圖場感測器輸出之圖場次序以及與圖列對應的影像排組成的群組，以一寫入程序依序將壓縮位元流寫入對應之壓縮排區。

編碼器執行的寫入程序可包括：接收一個壓縮位元流；依據與壓縮位元流對應的圖場以及影像排，由對應之壓縮排區的目前終止位置開始將壓縮位元流寫入對應之壓縮排區；以及當壓縮位元流對應之圖列不為所屬之影像排的最後一個圖列時，更新對應之壓縮排區的目前終止位置。其中的「所屬之影像排的最後一個圖列」，係指此圖列為其所屬之影像排中，依照圖場次序被接收的最後一個圖列。寫入程序另可包括：當壓縮位元流對應之圖列為所屬之影像排的最後一個圖列時，在寫入的壓縮位元流後以一填充碼填滿對應之壓縮排區。

影像解壓縮方法係用於將編碼器壓縮成的影像位元流解碼。影像解壓縮方法包括：接收影像位元流的至少一個壓縮排區；以及依據圖場次序，將壓縮排區中的這些壓縮位元流解壓縮回與壓縮排區對應的影像排中的圖列。

影像解壓縮方法中，「依據圖場次序，將壓縮排區中的這些壓縮位元流解壓縮回與壓縮排區對應的影像排中的圖列」的步驟可包括：計算壓縮排區內個別對應這些圖場的多個圖列數；以及依據圖場次序以及圖列數，將壓縮排區中的這些壓縮位元流解壓縮回與壓縮排區對應的影像排的圖列。

根據本發明之一實施範例，電子裝置另可包括至少一記憶體匯流排(memory bus)以及一應用模組。記憶體匯流排係電性連接於編解碼器封套模組以及記憶體之間。而應用模組則電性連接於記憶體匯流排，並透過記憶體匯流排存取已被解碼器解壓縮的至少一個影像排。此外，電子裝置亦可包括一晶片上隨機存取記憶體(on-chip random access memory，OCRAM)，以紀錄這些壓縮排區的目前終止位置。

本發明提供一種固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置，以將一多圖場感測器(multi-field sensor)所產生之一影像的一原始數據(raw data)以一壓縮倍率壓縮成一影像位元流(bit stream)，或是將影像位元流解壓縮(解碼)回原始數據。

首先請參照「第1圖」，其係為根據本發明一實施範例之電子裝置之示意圖。電子裝置20包括多圖場感測器22、一編解碼器封套模組(codec wrapper module)24以及一記憶體25。編解碼器封套模組24中可包括至少一編碼器241以執行固定壓縮倍率的影像壓縮方法，或/且至少一解碼器242以執行影像解壓縮方法。而電子裝置20可以是數位相機、附有照相功能的手機或是附有照相功能的筆記型電腦等能夠以多圖場感測器22擷取影像，並具有編碼器241或/且解碼器242的裝置。

多圖場感測器22可以例如是電荷耦合裝置(charge coupled device，CCD)，其以一圖場次序產生影像的原始數據。請同時參照「第2圖」，其係為根據本發明一實施範例之影像排的示意圖。影像30包括多個圖列(line)34，多圖場感測器22則將所有圖列34以圖場次序輸出。每一個圖列34對應有一圖場索引(field index)，代表此圖列34是屬於哪一個圖場。以「第2圖」的實施範例而言，多圖場感測器22將影像30分為3個圖場，並依據圖場1、圖場2以及圖場3的圖場次序將圖列34輸出。因此多圖場感測器22依據圖場次序將圖列34按照34_1、34_4...34_n-2、34_n+1...34_m-2、34_2、34_5...34_n-1、34_n+2...34_m-1、34_3、34_6...34_n、34_n+3...34_m依序輸出，其中n與m為3倍數的正整數，且m大於n。

然而本說明書中僅以此為例，並不限制多圖場感測器22分割的圖場數量、一圖列數以及輸出之圖場次序。其中一影像排(band)32中每一個圖場對應之圖列34的數量稱之為圖列數。

記憶體25可被分割為不同區域，以分開儲存已壓縮之影像位元流以及將影像位元流解壓縮的結果。電子裝置20另可具有至少一記憶體匯流排26，其將編解碼器封套模組24以記憶體25電性連接。記憶體25可以例如是雙資料率記憶體(Double Data Rate memory，DDR memory)、動態隨機存取記憶體(Dynamic Random Access Memory，DRAM)或是快閃記憶體(Flash memory)。

請參照「第3圖」，其係為根據本發明一實施範例之固定壓縮倍率的影像壓縮方法之流程圖。首先將影像30分割為多個影像排32，其中每一個影像排32包括至少一個圖列34(步驟S101)。例如在「第2圖」中，影像30被分割成兩個影像排32a以及32b；而圖列34_1~34_n與圖列34_n+1~34_m分別屬於影像排32a與32b。但影像30亦可依需求被分割為更多的影像排32。

編碼器241依據壓縮倍率以及原始數據的一位元流長度，於記憶體25內指定(allocate)一存放空間(步驟S102)。依據壓縮倍率以及原始數據的位元流長度，將存放空間分割為多個壓縮排區，這些壓縮排區係個別對應於影像排32(步驟S103)。且編碼器241並紀錄每一個壓縮排區的起始位置為一目前終止位置(步驟S104)。

電子裝置20可另包括一晶片上隨機存取記憶體(on-chip random access memory，OCRAM)27，以儲存每一個壓縮排區的目前終止位置。晶片上隨機存取記憶體27除了用以儲存目前終止位置之外，另可供電子裝置20內部的其他模組使用。此外，電子裝置20亦可在編解碼器封套模組24內配置一個隨機存取記憶體或多個暫存器(register)，專門用來儲存目前終止位置。

接著編碼器241由多圖場感測器22依序接收所有圖列34(步驟S105)，並將這些圖列34個別壓縮成為多個壓縮位元流(步驟S106)。且依據每一個圖列34的圖場索引、多圖場感測器22輸出之圖場次序以及與此圖列34對應的影像排32組成的群組，編碼器241以一寫入程序依序將壓縮位元流寫入對應之壓縮排區(步驟S107)。更詳細地說，編解碼器封套模組24是不斷重複接收一個圖列34、將此圖列34壓縮成壓縮位元流，以及以寫入程序將此壓縮位元流寫入壓縮排區，直到整個原始數據被壓縮以及寫入存放空間成為此影像位元流。而影像位元流也就是填滿壓縮位元流以及填充碼的存放空間內的資料。

請參照「第4圖」，其係為根據本發明一實施範例之寫入程序之流程圖。寫入程序首先接收一個壓縮位元流(步驟S111)，並依據與此壓縮位元流對應的圖場以及影像排32，由與此影像排32對應之壓縮排區的目前終止位置開始，將此壓縮位元流寫入對應之壓縮排區(步驟S112)。換句話說，寫入程序判斷圖場索引以及壓縮成此壓縮位元流之圖列34所屬的影像排32。

根據本發明之一實施範例，步驟S112可包括：依據圖場次序以及每一個圖場對應之圖列34的數量，計算與此壓縮位元流對應的圖場(即圖場索引)；以及依據每一個影像排32所包括的圖列34的數量以及每一個圖場對應之圖列34的數量，計算與此壓縮位元流對應的影像排32。

將此壓縮位元流寫入後，寫入程序判斷此壓縮位元流對應之圖列34是否為所屬之影像排32的最後一個圖列34(步驟S113)。其中的「所屬之影像排32的最後一個圖列34」，係指此圖列34為其所屬之影像排32中，依照圖場次序被掃描以及接收的最後一個圖列34。當此壓縮位元流對應之圖列34不是所屬之影像排32的最後一個圖列34時，更新對應之壓縮排區的目前終止位置(步驟S114)。而當此壓縮位元流對應之圖列34是所屬之影像排32的最後一個圖列34時，在寫入的壓縮位元流後以一填充碼填滿對應之壓縮排區(步驟S115)。

於步驟S115中，編解碼器封套模組24判斷在壓縮排區內寫入最後一個壓縮位元流後此壓縮排區內是否還有空間。若是，編解碼器封套模組24便補上填充碼。因此每一個壓縮排區的起始位置都是存放一個影像排32中第一個依照圖場次序被掃描的圖列34的壓縮位元流。

圖列34中的影像內容會影響到壓縮出來的結果，因此與每一個壓縮排區內的填充碼的長度可能有所不同。而填充碼中可以所有的位元的值都相同，例如全是0或者是全是1。填充碼中的值亦可不相同。填充碼亦可以是附加之壓縮位元流的一驗證碼，例如可以是相對應之壓縮位元流的校驗和(check sum)。

請搭配「第4圖」參照「第5A圖」到「第5F圖」，其係為根據本發明一實施範例之寫入過程的記憶體示意圖。

如「第5A圖」所示，於步驟S104之後記憶體25內的存放空間40依據影像排32a以及32b被分為壓縮排區42a以及42b(以下統稱為壓縮排區42)。且壓縮排區42a以及42b的起始位置分別被紀錄為對應其的目前終止位置44a以及44b (以下統稱為目前終止位置44)。其中壓縮排區42a以及42b 的起始位置可以由壓縮排區42a以及42b的大小與存放空間40的起始位置計算得到。

由於圖場次序是圖場1、圖場2以及圖場3，寫入程序接到的第一個壓縮位元流46係對應於影像30的第一個圖列34_1，而屬於第一個影像排32a以及圖場1。寫入程序將此壓縮位元流46寫入與影像排32a對應的壓縮排區42a，並更新壓縮排區42a的目前終止位置44a為被寫入之此壓縮位元流46的下一個位元(bit)的位置，如「第5B圖」。

編碼器241依序將對應於圖列34_1、34_4...34_n-2的壓縮位元流46寫入壓縮排區42a，並逐一更新並保存壓縮排區42a的目前終止位置44a。當寫入程序接收到對應於圖列34_n+1的壓縮位元流46後，可在步驟S112得知其屬於影像排32b。因此對應於圖列34_n+1的壓縮位元流46依據目前終止位置44b寫入壓縮排區42b，如「第5C圖」。

值得注意的是，編碼器241係將影像排32a內屬於圖場1的所有圖列34都依序壓縮並寫入壓縮排區42a之後，接著將影像排32b內屬於圖場1的所有圖列34都依序壓縮並寫入壓縮排區42b，再依照圖場次序依序寫入相對應的壓縮排區42。

依據上述步驟，影像排32a中圖場索引為3的圖列34被處理完後，編解碼器封套模組24寫入填充碼48。編碼器241才再處理影像排32b中對應於圖場索引為3的圖列34，如「第 5D圖」、「第5E圖」以及「第5F圖」所示。

請參照「第6圖」，其係為根據本發明不同實施範例之步驟S106之流程圖。根據本發明之一實施範例，步驟S106可包括：以多個壓縮窗分割圖列34(步驟S1061)；依序將每一個壓縮窗壓縮成一子位元流(步驟S1062)；以及將對應於圖列34的這些子位元流作為壓縮位元流46(步驟S1063)。

接著請參照「第7A圖」，其係為根據本發明一實施範例之影像解壓縮之流程圖。解碼器242可由記憶體25接收影像位元流的至少一個壓縮排區42(步驟S121)；再依據圖場次序，將壓縮排區42中的所有壓縮位元流46解壓縮回與此壓縮排區42對應的影像排32的所有圖列34(步驟S122)。

電子裝置20另可包括至少一應用模組28。應用模組28可透過記憶體匯流排26得到被解碼器242解壓縮的影像排32，並將其進行顯示或各種數位影像處理(digital image processing，DIP)。由於解碼器242可提供單一的影像排32，因此應用模組28不需等到整個影像位元流都被解碼就能開始運作。

根據本發明之一實施範例，步驟S122可包括：計算壓縮排區42內個別對應圖場的圖列數；以及依據圖場次序以及圖列數，將壓縮排區42中的所有壓縮位元流46解壓縮回與此壓縮排區42對應的影像排32中的所有圖列34。

根據本發明之另一實施範例，當每一個圖列34係以多個壓縮窗被壓縮時，步驟S122可包括：依據圖場次序以及圖列數，將壓縮位元流46中的子位元流解壓縮回對應之壓縮窗，作為與此壓縮排區42對應的影像排32中的圖列34。

請參照「第7B圖」與「第7C圖」，其係為根據本發明不同實施範例之影像解壓縮之流程圖。若解碼器242將壓縮位元流46都解壓縮後發現有填充碼48，可直接刪除壓縮排區42中的填充碼48(步驟S124)。若填充碼48是對應於此壓縮排區42的驗證碼，則解碼器242可以先依據此壓縮排區42中的填充碼48的驗證碼，驗證此壓縮排區42中的壓縮位元流46是否正確(步驟S123)，再刪除填充碼48。

綜上所述，編碼器以壓縮倍率壓縮影像的原始數據，而能確保壓縮得到的影像位元流省下足夠的儲存空間與記憶體存取頻寬。透過預留壓縮排區以及附加填充碼的技術，編碼器能夠不論圖場順序而將對應於相同影像排的所有圖列寫在同一個壓縮排區之中。在僅需要將整個影像中的任何一個影像排解壓縮時，並不需要將整個影像位元流解壓縮，而是只要將與所需之影像排對應的壓縮排區解碼即可。因此固定壓縮倍率的影像壓縮方法解決了習知技術中難以兼顧圖場順序以及影像排邊界的問題。

20‧‧‧電子裝置

22‧‧‧多圖場感測器

24‧‧‧編解碼器封套模組

241‧‧‧編碼器

242‧‧‧解碼器

25‧‧‧記憶體

26‧‧‧記憶體匯流排

27‧‧‧晶片上隨機存取記憶體

28‧‧‧應用模組

30‧‧‧影像

32,32a,32b‧‧‧影像排

34,34_1~34_m‧‧‧圖列

40‧‧‧存放空間

42a,42b‧‧‧壓縮排區

44a,44b‧‧‧目前終止位置

46‧‧‧壓縮位元流

48‧‧‧填充碼

第1圖係為根據本發明一實施範例之電子裝置之示意圖；第2圖係為根據本發明一實施範例之影像排的示意圖；第3圖係為根據本發明一實施範例之固定壓縮倍率的影像壓縮方法之流程圖；第4圖係為根據本發明一實施範例之寫入程序之流程圖；第5A~5F圖係為根據本發明一實施範例之寫入過程的記憶體示意圖；第6圖係為根據本發明一實施範例之步驟S106之流程圖；第7A圖係為根據本發明一實施範例之影像解壓縮之流程圖；第7B圖係為根據本發明另一實施範例之影像解壓縮之流程圖；以及第7C圖係為根據本發明又一實施範例之影像解壓縮之流程圖。

Claims

一種固定壓縮倍率的影像壓縮方法，用以將一多圖場感測器所產生之一影像的一原始數據以一壓縮倍率壓縮成一影像位元流，該影像包括多個圖列，該多圖場感測器將該些圖列以一圖場次序輸出，每一該圖列對應一圖場索引，該固定壓縮倍率的影像壓縮方法包括：將該影像分割為多個影像排，其中每一該影像排包括至少一該圖列；依據該壓縮倍率以及該原始數據的一位元流長度，於一記憶體內指定一存放空間；依據該壓縮倍率以及該原始數據的該位元流長度，將該存放空間分割為多個壓縮排區，該些壓縮排區係個別對應於該些影像排；紀錄每一該壓縮排區的起始位置為一目前終止位置；依序接收該些圖列；將該些圖列個別壓縮成為多個壓縮位元流；以及依據該些圖列的該些圖場索引、該多圖場感測器輸出之該圖場次序以及與該些圖列對應的該些影像排組成的群組，以一寫入程序依序將該些壓縮位元流寫入對應之該些壓縮排區。
如請求項第1項所述之固定壓縮倍率的影像壓縮方法，其中該寫入程序包括：接收一個該壓縮位元流；依據該壓縮位元流對應的該圖場以及該影像排，由對應之該壓縮排區的該目前終止位置開始將該壓縮位元流寫入對應之該壓縮排區；以及當該壓縮位元流對應之該圖列不為所屬之該影像排的最後一個該圖列時，更新對應之該壓縮排區的該目前終止位置。
如請求項第2項所述之固定壓縮倍率的影像壓縮方法，該寫入程序另包括：當該壓縮位元流對應之該圖列為所屬之該影像排的最後一個該圖列時，在寫入的該壓縮位元流後以一填充碼填滿對應之該壓縮排區。
一種影像解壓縮方法，包括：接收一影像位元流的至少一該壓縮排區，其中，該影像位元流是藉由一壓縮倍率來壓縮一影像的原始數據而產生，且該影像的該原始數據是由一多圖場感測器所產生，該壓縮排區是根據該壓縮倍率以及該原始數據的一位元流長度來分割於一記憶體內的一存放空間而產生；以及依據一圖場次序，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的一影像排中的多個圖列，其中，該些影像排是藉由分割該影像以及分別對應該壓縮排區而產生。
如請求項第4項所述之影像解壓縮方法，其中該依據該圖場次序，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的該影像排中的該些圖列的步驟包括：計算該壓縮排區內個別對應該些圖場的多個圖列數；以及依據該圖場次序以及該些圖列數，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的該影像排中的該些圖列。
一種電子裝置，包括：一多圖場感測器，以一圖場次序產生一影像的一原始數據，其中該影像包括多個圖列，每一該圖列對應一圖場索引；一記憶體；以及一編解碼器封套模組，包括：至少一編碼器，用以將該影像的該原始數據以一壓縮倍率壓縮成一影像位元流，該編碼器執行下列步驟：將該影像分割為多個影像排，其中每一該影像排包括至少一該圖列；依據該壓縮倍率以及該原始數據的一位元流長度，於該記憶體內指定一存放空間；依據該壓縮倍率以及該原始數據的該位元流長度，將該存放空間分割為多個壓縮排區，該些壓縮排區係個別對應於該些影像排；紀錄每一該壓縮排區的起始位置為一目前終止位置；依序接收該些圖列；將該些圖列個別壓縮成為多個壓縮位元流；以及依據該些圖列的該些圖場索引、該多圖場感測器輸出之該圖場次序以及與該些圖列對應的該些影像排組成的群組，以一寫入程序依序將該些壓縮位元流寫入對應之該些壓縮排區；以及至少一解碼器，用以將該影像位元流解碼，該編碼器執行下列步驟：接收該影像位元流的至少一該壓縮排區；以及依據該圖場次序，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的該影像排中的該些圖列。
如請求項第6項所述之電子裝置，另包括：至少一記憶體匯流排，電性連接於該編解碼器封套模組以及該記憶體之間；以及至少一應用模組，電性連接於該記憶體匯流排，並透過該記憶體匯流排存取已被該解碼器解壓縮的至少一該影像排。
如請求項第6項所述之電子裝置，另包括：一晶片上隨機存取記憶體，紀錄該些壓縮排區的該些目前終止位置。
如請求項第6項所述之電子裝置，其中該編碼器執行的該寫入程序包括：接收一個該壓縮位元流；依據與壓縮成該壓縮位元流之該圖列對應的該圖場以及該影像排，由對應之該壓縮排區的該目前終止位置開始將該壓縮位元流寫入對應之該壓縮排區；以及當該壓縮位元流對應之該圖列不為所屬之該影像排的最後一個該圖列時，更新對應之該壓縮排區的該目前終止位置。
如請求項第9項所述之電子裝置，其中該寫入程序另包括：當該壓縮位元流對應之該圖列為所屬之該影像排的最後一個該圖列時，在寫入的該壓縮位元流後以一填充碼填滿對應之該壓縮排區。
如請求項第6項所述之電子裝置，其中該解碼器執行的該依據該圖場次序，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的該影像排中的該些圖列的步驟包括：計算該壓縮排區內個別對應該些圖場的多個圖列數；以及依據該圖場次序以及該些圖列數，將該壓縮排區中的該些壓縮位元流解壓縮回與該壓縮排區對應的該影像排中的該些圖列。