TW201436525A - 影像系統 - Google Patents

Abstract

於一影像系統中，緩衝記憶體使用降低（reduced）位元的儲存方式，用以儲存先前列影像資料。暫存器陣列用以暫存目前列影像資料以及先前列影像資料，該暫存器陣列的一部分係使用降低位元的儲存方式，另一部分則使用完全位元的儲存方式。影像信號處理器具有完全位元，用以處理該些目前列及先前列影像資料。抖色（dither）單元連接於暫存器陣列與緩衝記憶體之間，其中使用完全位元儲存方式的該一部分暫存器陣列在將影像資料寫入緩衝記憶體之前，會先經過抖色單元的抖色處理。

Description

影像系統

本發明係有關一種記憶體架構，特別是關於一種適用於影像感測器的降低（reduced）位元記憶體架構。

影像感測器（image sensor）為一種將光學影像轉換為電信號的裝置，普遍應用於數位相機或其他影像擷取模組中。電荷耦合元件（CCD）或互補金屬氧化半導體（CMOS）影像感測器是目前最普遍使用的數位影像感測器。

在一含有影像感測器的影像系統中，需要使用一些緩衝記憶體來暫存影像感測器的影像資料，用以提供影像信號處理器（ISP）進行影像信號的處理。然而，由於影像顯示技術的進步使得影像解析度不斷提高，因而使得所需緩衝記憶體的大小也跟著增加，造成了系統成本的大量提高。

為了降低系統成本，可能會使用降低（reduced）位元的緩衝記憶體。例如，對於10位元的影像系統，可改使用8位元的緩衝記憶體以降低系統成本。然而，使用降低位元的緩衝記憶體後，會造成不連續影像的假影（artifact）現象。

鑑於影像系統需降低記憶體的成本且又要保有影像的品質，因此亟需提出一種新穎的影像系統，用以壓抑傳統影像系統所出現的假影現象使其不明顯。

鑑於上述，本發明實施例提出一種影像系統，其使用降低位元的緩衝記憶體，並藉由抖色（dither）處理以改善影像的假影現象，因而讓影像系統整體保有完全位元的效能。

根據本發明實施例，影像系統包含影像感測器、緩衝記憶體、暫存器陣列、影像信號處理器及抖色（dither）單元。影像感測器具有完全位元，用以提供目前列影像資料。緩衝記憶體使用降低（reduced）位元的儲存方式，用以儲存先前列影像資料。暫存器陣列用以暫存目前列影像資料以及先前列影像資料，該暫存器陣列的一部分係使用降低位元的儲存方式，使其相容於緩衝記憶體的儲存方式，該暫存器陣列的另一部分則使用完全位元的儲存方式。影像信號處理器具有完全位元，用以處理該些目前列及先前列影像資料，且影像信號處理器處理後的影像資料再存回緩衝記憶體。抖色（dither）單元連接於暫存器陣列與緩衝記憶體之間，其中使用完全位元儲存方式的該一部分暫存器陣列在將影像資料寫入緩衝記憶體之前，會先經過抖色單元的抖色處理。

第一圖顯示本發明實施例之影像系統100的功能方塊圖，可適用以處理及儲存影像感測器11所擷取的影像資料。本實施例之影像系統100整體具有完全（full）位元（例如m位元）的效能，然而用以儲存先前列影像資料的緩衝記憶體12則可使用降低（reduced）位元（例如n位元，n ＜m）的儲存方式，因而得以大量降低記憶體成本。

在本實施例中，影像感測器11將所擷取的目前列影像資料（或稱為原始（raw）影像資料）暫存於暫存器陣列13，此外，暫存器陣列13還從緩衝記憶體12取出先前列影像資料。接著，影像信號處理器（ISP）14則據以處理該些目前列及先前列影像資料。經處理後的影像資料則會再存回緩衝記憶體12內。

根據本實施例的特徵之一，暫存器陣列13的一部分係使用降低位元（例如n位元）的儲存方式，使其相容於緩衝記憶體12的儲存方式；暫存器陣列13的另一部分則使用完全位元（例如m位元，m>n）的儲存方式，使其相容於完全位元的影像感測器11及影像信號處理器（ISP）14。為了降低或避免影像系統100使用降低位元而造成的假影（artifact）（其通常為一種具固定週期的輪廓線（contouring），會造成影像信號的不連續），本實施例之影像系統100使用抖色（dither）單元15，連接於暫存器陣列13與緩衝記憶體12之間，用以降低或壓抑假影的視覺現象。

第二圖顯示第一圖之影像系統100的細部方塊圖。如第二圖所例示，暫存器陣列13包含有複數列暫存器（例如移位暫存器）P1至P5，分別代表第一列暫存器至第五列暫存器。其中，第五列暫存器P5使用完全位元的儲存方式，用以暫存影像感測器11所擷取的目前列影像資料；第三列暫存器P3也使用完全位元的儲存方式。當進行影像處理時（例如內插（interpolation）處理或其他影像強化），影像信號處理器14從緩衝記憶體12載入對應的影像資料到第一列暫存器P1、第二列暫存器P2、第三列暫存器P3、第四列暫存器P4及第五列暫存器P5的影像資料，並以第三暫存器P3作為當前像素列對暫存器P1-P5的影像資料進行運算，然後將所處理後的影像資料暫存於第三列暫存器P3。由於此時第三列暫存器P3的影像資料係影像信號處理器14藉由運算而得到的，因此其資料的位元數會比從緩衝記憶體12載入資料的位元數多，因此第三列暫存器P3採用完全位元的儲存方式來儲存運算結果。至於其他列暫存器P1、P2及P4則使用降低位元的儲存方式，用以暫存取自緩衝記憶體12的先前列影像資料。

如前所述，本實施例使用抖色單元15於暫存器陣列13與緩衝記憶體12之間，當暫存器陣列13中使用完全位元儲存方式的暫存器列（例如P3及P5）在將影像資料寫入緩衝記憶體12之前，會先經過抖色單元15的處理。在本實施例中，抖色單元15的執行係使用隨機抖色矩陣（random dither matrix）技術，其可使用線性回饋移位暫存器（linear feedback shift register, LFSR）來實施。藉由線性回饋移位暫存器，可模擬得到一真實的隨機亂數產生器，因而輸出一隨機抖色矩陣。傳統線性回饋移位暫存器有各種設計方式，其細節在此省略。在本實施例中，在將影像資料寫入緩衝記憶體12之前才進行抖色處理，因而得以節省記憶體又不會造成影像失真，換句話說，本實施例既可降低成本又能保有影像品質。

根據本實施例的另一特徵，上述暫存器陣列13中使用完全位元儲存方式的暫存器列（亦即，第五暫存器列P5以及第三暫存器列P3），該二列暫存器可同時於抖色單元15進行抖色處理。

根據本實施例的又一特徵，由於本實施例之影像系統100所處理影像資料為一種遞迴（recursive）型式的資料，且因為影像感測器11一般會使用彩色濾波陣列（例如拜爾（Bayer）彩色濾波陣列）而得到縮減取樣（down sampled）的原始影像信號，因此需要藉由解馬賽克（demosaicing或demosaicking）技術，用以重建得到全彩影像。因此，本實施例於進行抖色處理時，係依個別通道（例如紅色（R）、綠色（G）及藍色（B）通道）來進行的。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100．．．影像系統

11．．．影像感測器

12．．．緩衝記憶體

13．．．暫存器陣列

14．．．影像信號處理器(ISP)

15．．．抖色單元

P1~P5．．．暫存器列

第一圖顯示本發明實施例之影像系統的功能方塊圖。第二圖顯示第一圖之影像系統的細部方塊圖。

100．．．影像系統

11．．．影像感測器

12．．．緩衝記憶體

13．．．暫存器陣列

14．．．影像信號處理器(ISP)

15．．．抖色單元

Claims (10)

1. 一種影像系統，包含：       一影像感測器，具有完全位元，用以提供目前列影像資料；       一緩衝記憶體，使用降低（reduced）位元的儲存方式，用以儲存先前列影像資料；       一暫存器陣列，用以暫存該目前列影像資料以及該先前列影像資料，該暫存器陣列的一部分係使用降低位元的儲存方式，使其相容於該緩衝記憶體的儲存方式，該暫存器陣列的另一部分則使用完全位元的儲存方式；        一影像信號處理器，具有完全位元，用以處理該些目前列及先前列影像資料，該影像信號處理器處理後的影像資料再存回該緩衝記憶體；及       一抖色（dither）單元，連接於該暫存器陣列與該緩衝記憶體之間，其中使用完全位元儲存方式的該一部分暫存器陣列在將影像資料寫入該緩衝記憶體之前，會先經過該抖色單元的抖色處理。
2. 根據申請專利範圍第1項所述之影像系統，其中該暫存器陣列包含複數列暫存器。
3. 根據申請專利範圍第2項所述之影像系統，其中該複數列暫存器的其中一列使用完全位元的儲存方式，用以暫存該影像感測器所提供的目前列影像資料。
4. 根據申請專利範圍第3項所述之影像系統，其中該複數列暫存器的其中另一列使用完全位元的儲存方式，該影像信號處理器依據該暫存器陣列的影像資料進行處理，並將所處理後的影像資料暫存於完全位元的該另一列暫存器。
5. 根據申請專利範圍第4項所述之影像系統，其中用以暫存目前列影像資料的該暫存器列以及用以暫存處理後影像資料的該暫存器列同時於該抖色單元進行抖色處理。
6. 根據申請專利範圍第4項所述之影像系統，其中該複數列暫存器當中至少一列使用降低位元的儲存方式，用以暫存取自該緩衝記憶體的先前列影像資料。
7. 根據申請專利範圍第1項所述之影像系統，其中該抖色單元包含一線性回饋移位暫存器（LFSR）。
8. 根據申請專利範圍第7項所述之影像系統，其中該線性回饋移位暫存器（LFSR）輸出一隨機抖色矩陣（random dither matrix）。
9. 根據申請專利範圍第1項所述之影像系統，其中該抖色單元於進行抖色處理時，係依個別通道來進行。
10. 根據申請專利範圍第9項所述之影像系統，其中該通道包含紅色通道、綠色通道及藍色通道。