TWI405144B - 影像校正方法、影像校正單元及應用其之影像擷取裝置 - Google Patents

Description

影像校正方法、影像校正單元及應用其之影像擷取裝置

本發明是有關於一種影像校正方法、影像校正單元及應用其之影像擷取裝置，且特別是有關於一種可節省記憶體容量之影像校正方法、影像校正單元及應用其之影像擷取裝置。

隨著科技的進步，消費者對影像擷取裝置之要求相對提高，因此業界係不斷致力於影像處理技術，以提高影像影像擷取裝置之成像品質。其中，影像擷取裝置擷取之影像係由數個畫素所組成，此些畫素係以矩陣式排列。一般的影像擷取裝置中，係藉由具曲面之鏡頭聚焦於光感測元件以擷取各個畫素。然而，由於鏡頭之鏡心與各個光感測元件的相對位置不相同，因此拍攝出來的影像有中央部份較亮而四周部分較暗的問題，使得影像成效不彰。因此，如何將影像的亮度一致化，係為業界致力之方向之一。

傳統之影像校正方法係根據鏡頭及光感測元件的特性，分別計算並儲存對應於多個畫素的増益值。之後影像影像擷取裝置所擷取之影像藉由此些增益值分別調整各個畫素。由於影像的陰影多為橢圓形，故增益值需儲存於二維之記憶體中，因此傳統之影像校正方法需要大量之記憶體空間。如此一來，便提高影像影像擷取裝置之成本。

因此，如何提出一種影像校正方法、影像校正單元及應用其之影像擷取裝置，以解決上述問題，實為目前研發重要方向之一。

有鑑於此，本發明係有關於一種影像校正方法、影像校正單元及應用其之影像擷取裝置，係根據第一影像之部分畫素獲得多個代表基礎亮度校正係數，再根據第二影像之畫素將每個代表基礎亮度校正係數調整為代表優化亮度校正係數。藉由此些代表優化亮度校正係數算出對應於各個待調整畫素之畫素優化亮度校正係數並進行校正，使本發明之影像校正方法、影像校正單元及應用其之影像擷取裝置至少具有「節省儲存代表優化亮度校正係數之記憶體空間」、「可依據不同之感測器獲得需要之亮度校正係數」及「有效地將影像之亮度調整為一致化」之優點。

根據本發明之一方面，提出一種影像校正方法，係利用一第一影像及一第二影像校正一目標影像之亮度。目標影像具有多個待調整畫素，第一影像具有多個第一畫素，第二影像具有多個第二畫素。各個待調整畫素之校正資料係由對應之此些第一畫素之一及此些第二畫素之一獲得。影像校正方法包括以下步驟：首先，設定一預定亮度值；其次，根據部分之此些第一畫素及預定亮度值獲得多個代表基礎亮度校正係數；接著，根據此些第二畫素將此些代表基礎亮度校正係數調整為多個代表優化亮度校正係數；然後，根據一運算式及此些代表優化亮度校正係數獲得多個畫素優化亮度校正係數，使每個待調整畫素對應於每個畫素優化亮度校正係數；再者，根據每個畫素優化亮度校正係數校正每個待調整畫素之亮度。

根據本發明之另一方面，提出一種影像校正單元，包括一第一儲存單元、一第二儲存單元、一第一運算單元及一第二運算單元。第一儲存單元用以儲存多個畫素，每個畫素具有一色彩值。第二儲存單元用以儲存多個代表亮度校正係數，每個代表亮度校正係數係對應於部份之此些畫素。第一運算單元用以將每個代表亮度校正係數運算為對應於每個畫素之一畫素亮度校正係數。第二運算單元根據每個畫素之色彩值及每個畫素亮度校正係數獲得每個畫素之一校正色彩值。

根據本發明之再一方面，提出一種影像擷取裝置，包括一影像感測單元、一影像校正單元、一色彩補插單元及一色彩空間轉換單元。影像感測單元用以擷取一影像。影像係以一貝爾圖樣配置並具有多個畫素，每個畫素具有一色彩值。影像校正單元用以校正每個畫素之色彩值並包括一第一儲存單元、一第二儲存單元、一第一運算單元及一第二運算單元。第一儲存單元用以儲存此些畫素。第二儲存單元用以儲存多個代表亮度校正係數，每個代表亮度校正係數係對應於部份之此些畫素。第一運算單元用以將每個代表亮度校正係數運算為對應於每個畫素之一畫素亮度校正係數。第二運算單元根據每個畫素之色彩值及每個畫素亮度校正係數獲得每個畫素之一校正色彩值。色彩補插單元用以將每個單一畫素色彩值補插為一三色值。色彩空間轉換單元可用以將每個畫素三色值轉換出一對應的亮度值。

為讓本發明之上述內容能更明顯易懂，下文特舉一較佳實施例，並配合所附圖式，作詳細說明如下：

第一實施例

請同時參照第1、第2A、第2B及第3圖，第1圖繪示依照本發明第一實施例之影像擷取裝置的主要功能方塊圖，第2A圖繪示第一影像其部分第一畫素的示意圖，第2B圖繪示第一影像之部分代表基礎亮度校正係數的示意圖，第3圖繪示依照本發明第一實施例之影像校正方法的流程圖。

於本實施例中，影像擷取裝置100係根據一第一影像之亮度及一預定亮度值Y_MAX 獲得多個代表基礎亮度校正係數，並根據此些代表基礎亮度校正係數及一第二影像之亮度獲得多個代表優化亮度校正係數，再根據此些代表優化亮度校正係數校正一目標影像之亮度。如第1圖所示，影像擷取裝置100至少包括一影像感測單元110、一影像校正單元120、一色彩補插單元130及一色彩空間轉換單元140。影像校正單元120包括一第一儲存單元121、一第二儲存單元122、一第一運算單元123及一第二運算單元124。影像擷取裝置100係為具影像擷取影像功能之電子裝置，例如是具照相功能之行動通訊裝置或影像數位擷取裝置。

影像感測單元110用以擷取一畫面，並輸出以貝爾圖樣(Bayer pattern)配置之第一影像W _Bayer 。第一影像具有多個第一畫素，部分之第一畫素如P _{i * m , j * m} 、P _{i * m ,( j ＋1)* m} 、P _{( i ＋1)* m , j * m} 及P _{( i ＋1)* m ,( j ＋1)* m} 係繪示於第2A圖中。以貝爾圖樣配置之第一影像W _Bayer 中，每個第一畫素具有一像素值，例如是紅色、綠色或藍色。為了獲得精確之亮度，第一影像較佳地為一白色影像。白色影像例如是以影像感測單元110於正常的照明下，拍攝一白紙或一白色平面物而得。影像校正單元120用以儲存校正影像感測單元110輸出之影像所需之校正係數。在此為了要獲得第一影像之亮度，因此第一影像W _Bayer 係直接輸出至色彩補差單元130。

色彩補插單元130將以貝爾圖樣配置之第一影像W _Bayer 補差為具有RGB影像資料之第一影像W _RGB ，其中每個第一畫素同時具有紅色、綠色及藍色。色彩空間轉換單元140用以將具有RGB影像資料之第一影像W _RGB 轉換成具有YUV影像資料之第一影像W _YUV ，其中每個第一畫素具有一亮度值。於獲得第一影像之第一畫素的亮度值之後，便可計算出代表基礎亮度校正係數，並將此組代表基礎亮度校正係數儲存至影像校正單元120之第二儲存單元122。每個代表基礎亮度校正係數係對應於部份之第一畫素。

之後，再藉由影像感測單元110擷取另一畫面，並輸出以貝爾圖樣配置之第二影像，其中第二影像具有多個第二畫素，且每個第二畫素具有一像素值。為了使影像擷取裝置100具有較佳之校正效果，因此第二影像較佳地為一彩色影像，以避免僅利用單一白色影像校正而造成之誤差。

影像校正單元120之第一儲存單元121用以依序地儲存第二影像之第二畫素。第一運算單元123用以將儲存於第二儲存單元122之代表基礎亮度校正係數運算為對應於每個第二畫素之畫素基礎亮度校正係數。第二運算單元124根據儲存於第一儲存單元121的第二畫素之像素值及對應之畫素基礎亮度校正係數，獲得校正後之以貝爾圖樣配置之第二影像。

於獲得校正後之第二影像之後，色彩補差單元130更用以將第二影像補差為具有RGB影像資料之第二影像。色彩空間轉換單元140更用以將具有RGB影像資料之第二影像轉換成具有YUV影像資料之第二影像。於獲得校正亮度後之第二影像之後，便可據以將代表基礎亮度校正係數調整為代表優化亮度校正係數，並將此組代表優化亮度校正係數儲存至影像校正單元120之第二儲存單元122。

之後，影像感測單元110更用以擷取另一畫面，並輸出以貝爾圖樣(Bayer pattern)配置之目標影像T _Bayer 至影像校正單元120之第一儲存單元121，其中目標影像T _Bayer 具有多個待調整畫素，且每個待調整畫素具有一像素值。第一運算單元123更用以將儲存於第二儲存單元122之代表優化亮度校正係數運算為對應於每個待調整畫素之畫素優化亮度校正係數。第二運算單元124根據儲存於第一儲存單元121的待調整畫素之像素值及對應之畫素優化亮度校正係數，獲得校正後之以貝爾圖樣配置之目標影像T _{Bayer , C} 。然後，色彩補差單元130更用以將校正後之以貝爾圖樣配置之目標影像T _{Bayer , C} 補差為具有RGB影像資料之目標影像T _RGB ，以完成校正目標影像之亮度。至於本實施例之影像校正方法之主要步驟係以第3圖說明如下，同時並搭配第2A及第2B圖之元件標號為例作說明。

本實施例之影像校正方法例如是利用第1圖中之影像擷取裝置100來執行第3圖中之各個步驟，但並不以此為限。此技術領域中具有通常知識者應可明瞭影像校正方法之步驟及順序亦可依據實際應用狀況進行修飾與調整。

如第3圖所示，本實施例之影像校正方法至少包括以下主要步驟。首先，如步驟(a)所示，設定預定亮度值Y _MAX 。其次，如步驟(b)所示，根據部分之第一畫素及預定亮度值Y _MAX ，獲得多個代表基礎亮度校正係數。接著，如步驟(c)所示，根據第二畫素將此些代表基礎亮度校正係數調整為多個代表優化亮度校正係數。然後，如步驟(d)所示，根據一運算式及此些代表優化亮度校正係數獲得多個畫素優化亮度校正係數，使每個待調整畫素對應於每個畫素優化亮度校正係數。之後，如步驟(e)所示，根據每個畫素優化亮度校正係數校正每個待調整畫素的亮度。其中，各個步驟的實施方法係詳細說明如下。

規格M ×N 之第一影像包括多個區塊，使每個區塊對應於部分之第一畫素及部分之待調整畫素。於本實施例中，第一影像係以包括區塊B _{i , j} 、B _{i , j ＋1} 、B _{i ＋1, j} 及B _{i ＋1, j ＋1} ，且每個區塊的大小係為m ×m 為例做說明，如第2A圖所示。請參照第4圖，其繪示第3圖之步驟(b)的詳細流程圖。步驟(b)之獲得多個代表基礎亮度校正係數之方法包括步驟(b1)及(b2)。首先，如步驟(b1)所示，分別自第一影像之每個區塊中選擇一個第一畫素。接著，如步驟(b2)所示，分別根據預定亮度值Y _MAX 及選擇之第一畫素之亮度值獲得各個代表基礎亮度校正係數。於本實施例中，區塊B _{i , j} 之代表基礎亮度校正係數G _{i , j} 係以等式(1)獲得：G _{i , j} ＝Y _MAX /Y _{i*m ＋ a , j * m ＋ b} ………等式(1)其中，Y _{i * m ＋ a , j * m ＋ b} 係為自區塊B _{i , j} 中所選擇之第一畫素P _{i * m ＋ a , j * m ＋ b} 之亮度值，i *m <M 、j *m <N 、0 a <m 、0 b <m 且i 、j 、m 、n 、M 、N 、a 及b 為正整數。

於本實施例中，係分別自區塊B _{i , j} 、B _{i , j ＋1} 、B _{i ＋1, j} 及B _{i ＋1, j ＋1} 選擇第一個第一畫素P _{i*m , j * m} 、P _{i * m ,( j ＋1)* m} 、P _{( i ＋1)* m , j * m} 及P _{( i ＋1)* m ,( j ＋1)* m} 以獲得代表基礎亮度校正係數G _{i , j} 、G _{i , j ＋1} 、G _{i ＋1, j} 及G _{i ＋1, j ＋1} ，即a＝＝0且b＝0，如第2A圖所示。於本實施例中，較佳地自第一畫素中選擇最大亮度值作為預定亮度值Y _MAX 。

於上述步驟(b1)及(b2)之後，便可獲得每個代表基礎亮度校正係數，並實施步驟(c)。接著，請參照第5圖，其繪示第3圖之步驟(c)的詳細流程圖。步驟(c)之獲得多個代表優化亮度校正係數之方法包括步驟(c1)~(c3)。

首先，如步驟(c1)所示，以雙線性內插法(Bilinear Interpolation)自部份之代表基礎亮度校正係數獲得多個畫素基礎亮度校正係數。由於第二儲存單元122僅儲存由每個區塊中選擇之第一畫素所獲得之代表基礎亮度校正係數，如代表基礎亮度校正係數G _{i , j} 、G _{i , j ＋1} 、G _{i ＋1, j} 及G _{i ＋1, j ＋1} ，因此未被選擇之第一畫素的畫素基礎亮度校正係數，則藉由雙線性內插法計算而得。未被選擇之第一畫素例如為第2B圖中所繪示之第一畫素P _{i * m ＋ x , j * m ＋ y} 。以下係以雙線性內差法計算出第一畫素P _{i * m ＋ x , j * m ＋ y} 之畫素基礎亮度校正係數g _{i * m ＋ x , j * m ＋ y} 做說明。

如第2A及第2B圖所示，區塊B _{i , j} 、B _{i , j ＋1} 、B _{i ＋1, j} 及B _{i ＋1, j ＋1} 之代表基礎亮度校正係數G _{i , j} 、G _{i , j ＋1} 、G _{i ＋1, j} 及G _{i ＋1, j ＋1} 分別由第一畫素P _{i * m , j * m} 、P _{i * m ,( j ＋1)* m} 、P _{( i ＋1)* m , j * m} 及P _{( i ＋1)* m ,( j ＋1)* m} 獲得。第一畫素P _{i * m , j * m ＋ y} 係位於第一畫素P _{i * m , j * m} 及第一畫素P _{i * m ,( j ＋1)* m} 之邊上，第一畫素P _{i * m , j * m ＋ y} 之畫素基礎亮度校正係數g _{i * m , j * m ＋ y} 係由等式(2)獲得：

另外，第一畫素P _{( i ＋1)* m , j * m ＋ y} 係位於第一畫素P _{( i ＋1)* m , j * m} 及第一畫素P _{( i ＋1)* m ,( j ＋1)* m} 之邊上，第一畫素P _{( i ＋1)* m , j * m ＋ y} 之畫素基礎亮度校正係數g _{( i ＋1)* m , j * m ＋ y} 係由等式(3)獲得：

於獲得第一畫素P _{i * m , j * m ＋ y} 之畫素基礎亮度校正係數g _{i * m , j * m ＋ y} 及第一畫素P _{( i ＋1)* m , j * m ＋ y} 之畫素基礎亮度校正係數g _{( i ＋1)* m , j * m ＋ y} 後，係可根據等式(4)獲得第一畫素P _{i * m ＋ x , j * m ＋ y} 之畫素基礎亮度校正係數g _{i * m ＋ x , j * m ＋ y} ： 利用上述方法，即可獲得每個第一畫素之畫素基礎亮度校正係數。

其次，如步驟(c2)所示，根據第二畫素及此些畫素基礎亮度校正係數設定亮度加權係數f 。於此步驟中，亮度加權係數f 之設定方法係說明如下。首先，將以貝爾圖樣配置之第二影像之每個第二畫素的色彩值，一一乘以對應之畫素基礎亮度校正係數，以獲得校正亮度後之以貝爾圖樣配置之第二影像。之後，將校正亮度後之以貝爾圖樣配置之第二影像輸出至色彩補插單元130，以獲得具有RGB影像資料之第二影像。接著，將具有RGB影像資料之第二影像輸出至色彩空間轉換單元140，以獲得具有YUV影像資料之第二影像。於獲得具有YUV影像資料之第二影像後，便可依據整張第二影像所呈現之亮度，設定亮度加權係數f 。

然後，如步驟(c3)所示，根據亮度加權係數f 將代表基礎亮度校正係數調整為代表優化亮度校正係數，例如將第2B圖中所繪示之代表基礎亮度校正係數G _{i , j} 調整為代表優化亮度校正係數。於本實施例中，代表基礎亮度校正係數G _{i , j} 調整為代表優化亮度校正係數係以等式(5)獲得：G ' _{i , j} ＝f *(G _{i , j} －1)＋1………等式(5)每個代表基礎亮度校正係數皆可藉由類似方法調整為代表優化亮度校正係數，並儲存於第二儲存單元122中。

於上述步驟(c1)~(c3)之後，便可獲得每個代表優化亮度校正係數，並實施步驟(d)。於本實施例之步驟(d)中，係以雙線性內插法自部份之代表優化亮度校正係數獲得此些畫素優化亮度校正係數。其操作原理係類似於上述之步驟(c1)，因此不再加以贅述。

於上述步驟(d)之後，便可獲得畫素優化亮度校正係數，並實施步驟(e)。於本實施例之步驟(e)中，係分別根據每個待調整畫素之色彩值及對應之畫素優化亮度校正，調整每個待調整畫素之亮度，以獲得校正亮度後之目標影像T _RGB 。更進一步來說，校正亮度後之目標影像T _RGB 的獲得方法，係將以貝爾圖樣配置之目標影像T _Bayer 之每個待調整畫素的色彩值，一一乘以對應之畫素優化亮度校正係數，以獲得校正亮度後之以貝爾圖樣配置之目標影像T _{Bayer , C} 。之後，將校正亮度後之以貝爾圖樣配置之目標影像T _{Bayer , C} 輸出至色彩補插單元130，以獲得具有RGB影像資料之目標影像T _RGB ，以完成校正目標影像之亮度。

此外，如第1圖所示，影像擷取裝置100較佳地更包括一第三儲存單元125及一直接記憶體存取控制器(DMA)126。當待調整畫素依序地儲存於第一儲存單元121時，直接記憶體存取控制器126將第一運算單元123所需之部份代表優化亮度校正係數由第二儲存單元122傳送至第三儲存單元125。藉此，第一運算單元123讀取第三儲存單元125儲存之代表優化亮度校正係數，以將代表優化亮度校正係數運算為畫素優化亮度校正係數。再者，於本實施例中，第一儲存單元121較佳地為先進先出(firstin first out，FIFO)暫存器，以依序地儲存待調整畫素。

為了節省儲存校正係數之第二儲存單元122之空間，於本實施例中係將具有YUV影像資料之第一影像W _YUV 以二維等距之間隔距離劃分為多個區塊，再分別自每個區塊中選擇一個第一畫素，並根據選擇之第一畫素之亮度值計算出代表此區塊之代表基礎亮度校正係數。此些代表基礎亮度校正係數係儲存於第二儲存單元122，且每個代表基礎亮度校正係數係為校正此區塊之第一畫素之亮度值的校正係數。未被選擇之第一畫素之畫素基礎亮度校正係數，係可依據其鄰近之四個被選擇之第一畫素之代表基礎亮度校正係數，以雙線性內插法計算而得。此外，位於第一影像邊界上的第一畫素，可能不位於四個被選擇之第一畫素之間，因此需要額外少數個校正係數以計算位於邊界之第一畫素的畫素基礎亮度校正係數。也就是說，以上述規格M ×N 之第一影像為例，若以大小為m ×m 之區塊劃分，則不需儲存M ×N 個校正係數，而只需儲存(M /m ＋1)*(N /m ＋1)~(M /m ＋2)*(N /m ＋2)個校正係數。其中，m 的大小可視第二儲存單元122可提供之容量大小而定。如此一來，可大幅地降低儲存校正係數所需之記憶體空間。

第二實施例

本實施例之影像校正方法、影像校正單元及應用其之影像擷取裝置與前述依照本發明第一實施例不同之處在於，本實施例更依據畫素優化亮度校正係數及一第三影像之色彩，校正每個待調整畫素之色散。其餘相同之處係不再加以贅述。

由於影像感測單元中，鏡頭之曲面所產生光線折射導致感測元件陣列受光不平均，使感測元件陣列對於紅色光、綠色光及藍色光具有不同的感光效果。因此，於本實施例中較佳地再藉由第三影像校正目標影像之色散，以使目標影像具有較佳之色彩。

請參照第6及第7圖，第6圖繪示依照本發明第二實施例之影像擷取裝置的主要功能方塊圖，第7圖繪示依照本發明第二實施例之影像校正方法的流程圖。影像擷取裝置200與第一實施例之影像擷取裝置100的不同之處在於，影像擷取裝置200更包括一第四儲存單元227、一多工器228及一第三運算單元229。於第一實施例所述之「獲得代表優化亮度校正係數並儲存至影像校正單元之第二儲存單元」之後，本實施例之影像感測單元210更用以擷取另一畫面，並輸出以貝爾圖樣配置之第三影像至影像校正單元220。第三影像較佳地為一彩色影像，且第三影像較佳地不同於第二影像。第三影像具有多個第三畫素，且每個第三畫素具有一色彩值。

接著，校正影像單元220之第一儲存單元221更用以依序地儲存第三影像之第三畫素。第一運算單元223更用以將儲存於第二儲存單元222之代表優化亮度校正係數運算為對應於每個第三畫素之畫素優化亮度校正係數。第二運算單元224更用以根據儲存於第一儲存單元221的第三畫素之像素值及對應之畫素優化亮度校正係數，獲得校正亮度後之以貝爾圖樣配置之第三影像。

於獲得校正亮度後之以貝爾圖樣配置之第三影像之後，色彩補差單元230更用以將第三影像補差為具有RGB影像資料之第三影像。之後，便可依據第三影像所呈現之色彩，分別設定一紅加權係數f ^R 、一綠加權係數f ^G 及一藍加權係數f ^B ，並儲存於第四儲存單元227。

於獲得紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 之後，便可校正目標影像之色散。影像感測單元210更用以輸出以貝爾圖樣配置之目標影像T _Bayer ，並將目標影像T _Bayer 之每個待調整畫素依序地儲存至影像校正單元220之第一儲存單元221。第一運算單元223更用以將儲存於第二儲存單元222之代表優化亮度校正係數運算為對應於每個待調整畫素之畫素優化亮度校正係數。第二運算單元224根據儲存於第一儲存單元221的待調整畫素之像素值及對應之畫素優化亮度校正係數，獲得校正亮度後之以貝爾圖樣配置之目標影像T _{Bayer , C} 。

之後，多工器228用以根據儲存於第一儲存單元221之待調整畫素的色彩，至第四儲存單元227選取紅加權係數f ^R 、綠加權係數f ^G 或藍加權係數f ^B 。第三運算單元229用以根據第二運算單元224計算出之校正亮度後之以貝爾圖樣配置之目標影像T _{Bayer , C} 的待調整畫素，及多工器228所選取之紅加權係數f ^R 、綠加權係數f ^G 或藍加權係數f ^B ，獲得校正色彩後之以貝爾圖樣配置之目標影像。接著，色彩補插單元230更用以將校正色彩後之以貝爾圖樣配置之目標影像，補差為具有RGB影像資料之目標影像T _RGB ，以完成校正目標影像之色散。本實施例之影像校正方法之主要步驟係以第7圖說明如下。

如第7圖所示，本實施例之影像校正方法至少包括以下主要步驟。本實施例之影像校正方法例如是利用第6圖中之影像擷取裝置200來執行第7圖中之各個步驟，但並不以此為限。此技術領域中具有通常知識者應可明瞭影像校正方法之步驟及順序亦可依據實際應用狀況進行修飾與調整。

首先，如步驟(a)所示，設定預定亮度值Y _MAX 。其次，如步驟(b)所示，根據部分之第一畫素及預定亮度值Y _MAX ，獲得多個代表基礎亮度校正係數。接著，如步驟(c)所示，根據第二畫素將此些代表基礎亮度校正係數調整為多個代表優化亮度校正係數。然後，如步驟(d)所示，根據一運算式及此些代表優化亮度校正係數獲得多個畫素優化亮度校正係數，使每個待調整畫素對應於每個畫素優化亮度校正係數。之後，如步驟(f)所示，依據每個畫素優化亮度校正係數及第三畫素，分別設定紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 。再來，如步驟(e)所示，根據每個畫素優化亮度校正係數校正每個待調整畫素的亮度。接著，如步驟(g)所示，依據校正亮度後之每個待調整畫素及紅加權係數f ^R 、綠加權係數f ^G 或藍加權係數f ^B ，校正每個待調整畫素之色散。

本實施例之步驟(a)~(d)及步驟(e)係與第一實施例之步驟(a)~(d)及步驟(e)相同，因此不再加以贅述。接著，將步驟(f)及步驟(g)的實施方法詳細說明如下。

請參照第8圖，其繪示第7圖之步驟(f)的詳細流程圖。步驟(f)之設定紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 之方法包括步驟(f1)及(f2)。首先，如步驟(f1)所示，依據每個第三畫素之色彩值及每個畫素優化亮度校正係數，獲得校正亮度後之第三影像。也就是說，將以貝爾圖樣配置之第三影像之每個第三畫素的色彩值，一一乘以對應之畫素優化亮度校正係數，以獲得校正亮度後之以貝爾圖樣配置之第三影像。之後，將校正亮度後之以貝爾圖樣配置之第三影像輸出至色彩補插單元230，以獲得具有RGB影像資料之第三影像。

接著，如步驟(f2)所示，依據校正亮度後之第三影像設定紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 。設定紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 之判斷依據，例如是根據整張第三影像所呈現之色彩而設定。

於上述設定紅加權係數f ^R 、綠加權係數f ^G 及藍加權係數f ^B 之步驟(f1)及(f2)後，便實施步驟(e)，根據每個畫素優化亮度校正係數校正每個待調整畫素的亮度。之後，便實施步驟(g)。請參照第9圖，其繪示第7圖之步驟(g)的詳細流程圖。步驟(g)之校正每個待調整畫素之色彩之方法包括步驟(g1)~(g4)。首先，擷取目標影像之待調整畫素之色彩。其中，若待調整畫素之色彩為紅色，則實施步驟(g2)；若待調整畫素之色彩為綠色，則實施步驟(g3)；若待調整畫素之色彩為藍色，則實施步驟(g4)。

於步驟(g2)中，根據校正亮度後之待調整畫素及紅加權係數f ^R ，獲得校正色彩後之待調整畫素。於步驟(g3)中，根據校正亮度後之待調整畫素及綠加權係數f ^G ，獲得校正色彩後之待調整畫素。於步驟(g4)中，根據校正亮度後之待調整畫素及藍加權係數f ^B ，獲得校正色彩後之待調整畫素。之後，將校正色彩後之以貝爾圖案配置之目標影像輸出至色彩補插單元230，以獲得為具有RGB影像資料之該目標影像。於上述步驟之後，係可完成校正目標影像之色散。

除了具有第一實施例提及之優點外，對於本實施例所揭露之影像校正方法、影像校正單元及應用其之影像擷取裝置，更具有校正目標影像之色散問題的優點。

依照本發明較佳實施例之影像校正方法、影像校正單元及應用其之影像擷取裝置，至少包括以下優點：第一、「節省記憶體空間」。本發明係儲存代表亮度校正係數，其中每個代表亮度校正係數係對應於部分之畫素，並藉由雙線性內差法獲得對應於每個畫素之畫素亮度校正係數，如此一來，可有效地節省記憶體空間。

第二、「可應用於不同之影像擷取裝置」。本發明之影像校正方法係可根據各個影像擷取裝置獲得適用於此感測器之代表亮度校正係數，藉此以應用於不同之影像擷取裝置中。

第三、「有效地調整亮度」。目標影像係依據第一影像及第二影像以校正亮度，並依據每個畫素的位置分別給予不同之增益值。因此，可有效地調整亮度。

第四、「精確之校正資料」。藉由第一影像及第二影像產生校正資料，可避免僅由單一影像進行校正可能產生之誤差，因此本發明之影像校正方法可獲得精確之校正資料。

第五、「改善色散問題」。根據第三影像之畫素校正目標影像之色散，使目標影像之各個待調整畫素具有較佳之色彩。

綜上所述，雖然本發明已以兩例較佳實施例揭露如上，然其並非用以限定本發明。本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾。因此，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100、200．．．影像擷取裝置

110、210．．．影像感測單元

120、220．．．影像校正單元

121、221．．．第一儲存單元

122、222．．．第二儲存單元

123、223．．．第一運算單元

124、224．．．第二運算單元

125、225．．．第三儲存單元

126、226．．．直接記憶體存取控制器

130、230．．．色彩補插單元

140、240．．．色彩空間轉換單元

227．．．第四儲存單元

228．．．多工器

229．．．第三運算單元

B _{i , j} 、B _{i , j ＋1} 、B _{i ＋1, j} 、B _{i ＋1, j ＋1} ．．．區塊

P _{i * m , j * m} 、P _{i * m ,( j ＋1)* m} 、P _{( i ＋1)* m , j * m} 、P _{( i ＋1)* m ,( j ＋1)* m} 、P _{( i ＋1)* m , j * m} 、P _{i*m , j * m ＋ y} 、P _{i * m ＋ x , j * m ＋ y} ．．．第一畫素

G _{i , j} 、G _{i , j ＋1} 、G _{i ＋1, j} 、G _{i ＋1, j ＋1} ．．．代表基礎亮度校正係數

第1圖繪示依照本發明第一實施例之影像擷取裝置的主要功能方塊圖；第2A圖繪示第一影像其部分第一畫素的示意圖；第2B圖繪示第一影像之部分代表基礎亮度校正係數的示意圖；第3圖繪示依照本發明第一實施例之影像校正方法的流程圖；第4圖繪示第3圖之步驟(b)的細部步驟流程圖；第5圖繪示第3圖之步驟(c)的細部步驟流程圖；第6圖繪示依照本發明第二實施例之影像擷取裝置的主要功能方塊圖；第7圖繪示依照本發明第二實施例之影像校正方法的流程圖；第8圖繪示第7圖之步驟(f)的詳細流程圖；以及第9圖繪示第7圖之步驟(g)的詳細流程圖。

Claims (31)

1. 一種影像校正方法，係利用一第一影像及一第二影像校正一目標影像之亮度，該目標影像具有複數個待調整畫素，該第一影像具有複數個第一畫素，該第二影像具有複數個第二畫素，各該待調整畫素之校正資料係由對應之該些第一畫素之一及該些第二畫素之一獲得，各該第一畫素具有一亮度值，該第一影像包括複數個區塊，各該區塊對應於部分之該些第一畫素與部分之該些待調整畫素，該影像校正方法包括：(a)設定一預定亮度值；(b)根據部分之該些第一畫素及該預定亮度值獲得複數個代表基礎亮度校正係數，各該代表基礎亮度校正係數係對應於部分之該些第一畫素，該步驟(b)包括：(b1)分別自各該區塊對應之該些第一畫素中選擇該些第一畫素之一；及(b2)分別根據該預定亮度值及選擇之各該第一畫素的該亮度值獲得各該代表基礎亮度校正係數，使各該區塊對應於各該代表基礎亮度校正係數；(c)根據該些第二畫素將該些代表基礎亮度校正係數調整為複數個代表優化亮度校正係數，該步驟(c)包括：(c1)以一雙線性內差法(Bilinear Interpolation)自該些代表基礎亮度校正係數獲得複數個畫素基礎亮度校正係數；(c2)根據該些第二畫素及該些畫素基礎亮度校 正係數設定一亮度加權係數；及(c3)根據該亮度加權係數將各該代表基礎亮度校正係數調整為各該代表優化亮度校正係數；(d)根據該些代表優化亮度校正係數獲得複數個畫素優化亮度校正係數，使各該待調整畫素對應於各該畫素優化亮度校正係數，該步驟(d)係以一雙線性內差法自部分之該些代表優化亮度校正係數獲得該些畫素優化亮度校正係數；以及(e)根據各該畫素優化亮度校正係數校正各該待調整畫素之亮度，該目標影像係以一貝爾圖樣配置，該步驟(e)係分別根據各該待調整畫素之色彩值及各該畫素優化亮度校正係數獲得校正亮度後之該目標影像。
2. 如申請專利範圍第1項所述之影像校正方法，其中各該第一畫素具有一亮度值，該步驟(a)係根據該些第一畫素之最大該亮度值作為該預定亮度值。
3. 如申請專利範圍第1項所述之影像校正方法，其中該第一影像之大小係為M ×N ，各該區塊B _{i ,j} 之大小係為m ×m ，選擇之各該第一畫素之該亮度值、各該代表基礎亮度校正係數及該預定亮度值之關係如下：G _{i ,j} =Y _MAX /Y _{i *m +a} , _{j *m +b} ；其中，Y _MAX 為該預定亮度值、Y _{i *m +a ,j *m +b} 為選擇之該第一畫素P _{i *m +a ,j *m +b} 之該亮度值，且G _{i ,j} 為區塊B _{i ,j} 之代表基礎亮度校正係數，i *m <M 、j *m <N 、0 a <m 、0 b <m 且i 、j 、m 、n 、M 、N 、a 及b 為正整數。
4. 如申請專利範圍第3項所述之影像校正方法，其中該些代表基礎亮度校正係數之數量實質上係為(M /m +1)*(N /m +1)~(M /m +2)*(N /m +2)個。
5. 如申請專利範圍第4項所述之影像校正方法，其中各該代表基礎亮度校正係數、該代表優化亮度校正係數及該亮度加權係數之關係如下：G ' _{i ,j} =f *(G _{i ,j} -1)+1；其中，f 為該亮度加權係數、G _{i ,j} 為各該代表基礎亮度校正係數，G _{i ,j} 為該代表優化亮度校正係數。
6. 如申請專利範圍第4項所述之影像校正方法，其中該第二影像係以一貝爾圖樣(Bayer pattern)配置，該步驟(c2)包括：(c21)分別根據各該第二畫素之色彩值及各該第二畫素對應之該待調整畫素的該畫素基礎亮度校正係數，獲得校正亮度後之該第二影像；以及(c22)根據校正亮度後之該第二影像的亮度，設定該亮度加權係數。
7. 如申請專利範圍第6項所述之影像校正方法，其中校正亮度後之該第二影像的亮度，係將各該第二畫素之色彩值，一一乘以各該畫素基礎亮度校正係數所獲得之校正亮度後之以貝爾圖案配置之該第二影像，經色彩補差後為具有RGB影像資料之該第二影像，並將具有RGB影像資 料之該第二影像轉換成具有YUV影像資料之該第二影像而得。
8. 如申請專利範圍第1項所述之影像校正方法，其中校正亮度後之該目標影像，係將各該待調整畫素之色彩值，一一乘以各該畫素優化亮度校正係數所獲得之校正亮度後之以貝爾圖案配置之該目標影像，補差為具有RGB影像資料之該目標影像而得。
9. 如申請專利範圍第1項所述之影像校正方法，其中該第一影像係為一白色影像。
10. 如申請專利範圍第1項所述之影像校正方法，其中該第二影像係為一彩色影像。
11. 如申請專利範圍第1項所述之影像校正方法，更利用一第三影像校正該目標影像之色彩，該第三影像具有複數個第三畫素，各該待調整畫素之校正資料係由對應之該些第三畫素之一獲得，該影像校正方法更包括：(f)根據各該第三畫素及各該畫素優化亮度校正係數，分別設定一紅加權係數、一綠加權係數及一藍加權係數；以及(g)根據校正亮度後之各該待調整畫素及該紅加權係數、該綠加權係數或該藍加權係數，校正各該待調整畫素之色彩。
12. 如申請專利範圍第11項所述之影像校正方法，其中該第三影像係以一貝爾圖樣(Bayer pattern)配置，其中該步驟(f)包括： (f1)根據各該第三畫素之色彩值及各該畫素優化亮度校正係數，獲得校正亮度後之該第三影像；以及(f2)根據校正亮度後之該第三影像之色彩，設定該紅加權係數、該綠加權係數及該藍加權係數。
13. 如申請專利範圍第12項所述之影像校正方法，其中校正亮度後之該第三影像之色彩，係將各該第三畫素之色彩值，一一乘以各該畫素優化亮度校正係數所獲得之校正亮度後之以貝爾圖案配置之該第三影像，補插為具有RGB影像資料之該第三影像而得。
14. 如申請專利範圍第11項所述之影像校正方法，該目標影像係以一貝爾圖樣配置，其中該步驟(g)係分別根據校正亮度後之該各該待調整畫素之色彩值及該些該紅加權係數、該綠加權係數或該藍加權係數，獲得校正色彩後之該目標影像。
15. 如申請專利範圍第14項所述之影像校正方法，其中該步驟(g)包括：(g1)擷取各該待調整畫素之色彩；(g2)若該待調整畫素為紅色，根據校正亮度後之該待調整畫素及該紅色加權係數，獲得校正色彩後之該待調整畫素；(g3)若該待調整畫素為綠色，根據校正亮度後之該待調整畫素及該綠色加權係數，獲得校正色彩後之該待調整畫素；以及(g4)若該待調整畫素為藍色，根據校正亮度後之該待 調整畫素及該藍色加權係數，獲得校正色彩後之該待調整畫素。
16. 如申請專利範圍第15項所述之影像校正方法，其中校正色彩後之該目標影像，係將校正色彩後之以貝爾圖案配置之該目標影像，其中若該待調整畫素為紅色，校正色彩後之該畫素係為校正亮度後之各該待調整畫素之色彩值乘以該紅色加權係數；若該待調整畫素為綠色，校正色彩後之該畫素係為校正亮度後之各該待調整畫素之色彩值乘以該綠色加權係數；若該待調整畫素為藍色，校正色彩後之該畫素係為校正亮度後之各該待調整畫素之色彩值乘以該藍色加權係數；隨後，利用色彩補差為具有RGB影像資料之該目標影像而得。
17. 如申請專利範圍第11項所述之影像校正方法，其中該第三影像係為一彩色影像。
18. 一種影像校正單元，包括：一第一儲存單元，用以儲存複數個畫素，各該畫素具有一色彩值；一第二儲存單元，用以儲存複數個代表亮度校正係數，各該代表亮度校正係數係對應於部份之該些畫素；一第一運算單元，用以將該第二儲存單元所儲存之各該代表亮度校正係數運算為對應於各該畫素之一畫素亮度校正係數，該第一運算單元係以一雙線性內差法自部分之該些代表亮度校正係數獲得該些畫素亮度校正係數；以及 一第二運算單元，根據該第一儲存單元儲存之各該畫素之該色彩值及該第一運算單元運算之各該畫素亮度校正係數分別設定紅色加權係數、綠色加權係數及藍色加權係數，並根據各該畫素亮度校正係數校正各該畫素的亮度，再依據校正亮度後之各該畫素及紅色加權係數、綠色加權係數或藍色加權係數校正各該畫素之校正亮度後之該色彩值。
19. 如申請專利範圍第18項所述之影像校正單元，其中該些代表亮度校正係數之數量係小於該些畫素之數量。
20. 如申請專利範圍第18項所述之影像校正單元，其中該第一儲存單元係為一先進先出(first in first out，FIFO)暫存器。
21. 如申請專利範圍第18項所述之影像校正單元，其中該些畫素之該些色彩值係依序地校正為校正亮度後之該色彩值。
22. 如申請專利範圍第18項所述之影像校正單元，其中該第一運算單元係為一雙線性內差運算單元。
23. 如申請專利範圍第18項所述之影像校正單元，更包括：一第三儲存單元，用以儲存該第一運算單元所需之部分該些代表優化亮度校正係數；以及一直接記憶體存取(direct memory access，DMA)控制器，用以將該第一運算單元所需之部份該些代表優化 亮度校正係數，自該第二儲存單元傳送至該第三儲存單元；其中，該第一運算單元讀取該第三儲存單元，以將該些代表優化亮度校正係數運算為該些畫素優化亮度校正係數。
24. 如申請專利範圍第18項所述之影像校正單元，更包括：一第四儲存單元，用以儲存一紅校正係數、一綠校正係數及一藍校正係數；一多工器，根據各該畫素之色彩分別存取該紅校正係數、該綠校正係數或該藍校正係數；以及一第三運算單元，根據各該畫素之色彩及該多工器擷取之該紅校正係數、該綠校正係數或該藍校正係數，獲得各該畫素之校正色散後之該色彩值。
25. 一種影像擷取裝置，包括：一影像感測單元，用以擷取一影像，該影像係以一貝爾圖樣配置並具有複數個畫素，各該畫素具有一色彩值；一影像校正單元，用以校正該影像感測單元所擷取之該影像之各該畫素之該色彩值，該影像校正單元包括：一第一儲存單元，用以儲存該些畫素；一第二儲存單元，用以儲存複數個代表優化亮度校正係數，各該代表亮度校正係數係對應於部份之該些畫素；一第一運算單元，用以將該第二儲存單元所儲 存之各該代表亮度校正係數運算為對應於各該畫素之一畫素亮度校正係數，該第一運算單元係以一雙線性內差法自部分之該些代表亮度校正係數獲得該些畫素亮度校正係數；及一第二運算單元，根據該第一儲存單元儲存之各該畫素之該色彩值及該第一運算單元運算之各該畫素亮度校正係數分別設定紅色加權係數、綠色加權係數及藍色加權係數，並根據各該畫素亮度校正係數校正各該畫素的亮度，再依據校正亮度後之各該畫素及紅色加權係數、綠色加權係數或藍色加權係數校正各該畫素之校正亮度後之該色彩值；一色彩補插單元(color interpolation unit)，用以補插該影像校正單元校正亮度後之該色彩值，以獲得校正亮度後之該影像；以及一色彩空間轉換單元(color space transform unit)，用以針對該色彩差補單元運算後之該影像獲得校正亮度後之該影像之亮度值。
26. 如申請專利範圍第25項所述之影像擷取裝置，其中該些代表亮度校正係數之數量係小於該些畫素之數量。
27. 如申請專利範圍第25項所述之影像擷取裝置，其中該第一儲存單元係為一先進先出(first in first out，FIFO)暫存器。
28. 如申請專利範圍第25項所述之影像擷取裝置， 其中該些畫素之該些色彩值係依序地校正為校正亮度後之該色彩值。
29. 如申請專利範圍第25項所述之影像擷取裝置，其中該第一運算單元係為一雙線性內差運算單元。
30. 如申請專利範圍第25項所述之影像擷取裝置，其中該影像校正單元更包括：一第三儲存單元，用以儲存該第一運算單元所需之部分該些代表亮度校正係數；以及一直接記憶體存取控制器，用以將該第一運算單元所需之部份該些代表亮度校正係數，自該第二儲存單元傳送至該第三儲存單元；其中，該第一運算單元讀取該第三儲存單元，以將該些代表亮度校正係數運算為該些畫素亮度校正係數。
31. 如申請專利範圍第25項所述之影像擷取裝置，其中該影像校正單元更包括：一第四儲存單元，用以儲存一紅校正係數、一綠校正係數及一藍校正係數；一多工器，根據各該畫素之色彩分別存取該紅校正係數、該綠校正係數或該藍校正係數；以及一第三運算單元，根據各該畫素之色彩及該多工器擷取之該紅校正係數、該綠校正係數或該藍校正係數，獲得各該畫素之校正色散後之該色彩值；其中，該色彩補插單元更用以補插各該畫素之校正色散後之該色彩值，以獲得該校正色散後之該影像。