TW201411554A

TW201411554A - 修正一影像系統之暈影的方法及裝置

Info

Publication number: TW201411554A
Application number: TW102121891A
Authority: TW
Inventors: Cheng-Ming Liu; dong-hui Wu; Ji-Zhang Shan
Original assignee: Omnivision Tech Inc
Priority date: 2012-06-20
Filing date: 2013-06-20
Publication date: 2014-03-16
Also published as: US20130342741A1; US8823841B2; CN103517004A; TWI479454B; CN103517004B

Abstract

一種用以修正暈影的方法與裝置，包括將二維陣列之各影像畫素分別關聯至相對於一預選原點畫素之一組極座標，以及將二維陣列之影像畫素區分成複數個區域，針對各區域群組，本方法包括對該區域群組中的各區域，計算一平均R值、一平均G值及一平均B值；將各區域的平均R值、平均G值及平均B值轉換成對數空間；比較沿一徑向區域線之顏色梯度與一梯度臨限值；選擇未超出梯度臨限值之梯度；利用所選出之梯度，估算用以產生影像之一透鏡之一模式的參數；以及利用參數更新透鏡之模式並修正影像。

Description

修正一影像系統之暈影的方法及裝置

本發明關於一種光學影像系統，特別關於一種方法及裝置，用以修正一影像中以及產生影像之一影像系統中的顏色及/或強度暈影。

數位影像系統通常包括一光學系統，用以收集光線並將光線投影或成像於一接收器、一偵測器或一感測器。其中光學系統通常包括一個以上之成像透鏡，用以在感測器上形成影像。感測器通常為一二維陣列的光學偵測器或感測器，例如為互補式金氧半(CMOS)影像感測器。

暈影是一種光學系統中常見的現象，其係與透鏡的主光線角相關的顏色及強度變化。當主光線角增加時，可減少感測器或偵測器的量子效率，進而在與影像中心的距離增加時，減少其顏色及強度。

目前已揭露數種修正暈影效果的方式。大部分的修正方法需要利用特定的背景以進行校正，其通常必須提供均勻的照明，而且，此校正模式可適用於實際影像或錄像。實際上，暈影模式會隨著光線頻譜及焦距而改變，因此難以同時校正不同光源的光線。此現象在小型畫素尺寸的CMOS影像感測器中特別顯著。另外，其他修正方法會針對單一影像各別進行處理，並且需要進行影像分割與大容量的緩衝器，然而在影像感測器中設置此種緩衝器是非常複雜的。

本發明一第一實施態樣揭露一種方法，用以修正一影像之暈影，影像包括一二維陣列之影像畫素，各影像畫素包括分別表示紅色、綠色及藍色強度之一R值、一G值及一B值，在本方法中，首先將二維陣列之各影像畫素分別關聯至相對於一預選原點畫素之一組極座標，接著，將二維陣列之影像畫素區分成複數個區域，各區域分別包括二維陣列之影像畫素中的複數個畫素，複數個區域包括複數個區域群組，各區域群組沿通過預選原點畫素之一相關區域線徑向延伸；然後針對各區域群組進行下列步驟：(i)針對區域群組中的各區域，計算一平均R值、一平均G值及一平均B值，平均R值係為該區域中的該等畫素之R值的一平均值，平均G值係為該區域中的該等畫素之G值的一平均值，平均B值係為區域中的該等畫素之B值的一平均值；(ii)將各區域的平均R值、平均G值及平均B值轉換成對數空間，以產生一R向量、一G向量及一B向量；(iii)利用一中值濾波器處理R向量、G向量及B向量，以確認沿區域線之顏色梯度；(iv)比較該等顏色梯度與一梯度臨限值；(v)選擇未超出梯度臨限值之梯度；(vi)利用所選出之梯度，估算用以產生影像之一透鏡之一模式的參數；以及(v)利用該等參數更新透鏡之模式並修正影像。

本發明另一實施態樣揭露一種影像感測器，用以修正暈影，包括一二維陣列之影像畫素以及一處理電路，其中，各影像畫素包括分別表示紅色、綠色及藍色強度之一R值、一G值及一B值，處理電路係耦接於二維陣列之影像畫素，並用以執行下列步驟：(i)將二維陣列之各影像畫素分別關聯至相對於一預選原點畫素之一組極座標；(ii)將二維陣列之影像畫素區分成複數個區域，各區域分別包括二維陣列之影像畫素中的複數個畫素，複數個區域包括複數個區域群組，各區域群組係沿通過預選原點畫素之一相關區域線徑向延伸；以及，針對各區域群組進行下列步驟：針對該區域群組中的各區域，計算一平均R值、一平均G值及一平均B值，平均R值係為區域中的該等畫素之R值的一平均值，平均G值係為區域中的該等畫素之G值的一平均值，平均B值係為區域中的該等畫素之B值的一平均值；將各區域的平均R值、平均G值及平均B值轉換成對數空間，以產生一R向量、一G向量及一B向量；利用一中值濾波器處理R向量、G向量及B向量，以確認沿區域線之顏色梯度；比較顏色梯度與一梯度臨限值；選擇未超出梯度臨限值之梯度；利用所選出之梯度，估算用以產生影像之一透鏡之一模式的參數；以及利用該等參數更新透鏡之模式並修正影像。

10‧‧‧透鏡

12‧‧‧感測器陣列

14‧‧‧中心

16‧‧‧中心畫素

17‧‧‧區域線

19、21、25‧‧‧區域

23‧‧‧畫素

24‧‧‧點

26、26A、26B、26C、26D‧‧‧(光學)偵測器

27‧‧‧徑向區域線(邊界直線)

29‧‧‧徑向區域線(邊界直線)

100~118‧‧‧步驟

200‧‧‧影像感測器

205‧‧‧畫素陣列

210‧‧‧讀出電路

215‧‧‧功能邏輯

220‧‧‧處理電路

222‧‧‧處理器

224‧‧‧記憶體/儲存電路

226‧‧‧輸出入界面電路

R₁、R₂、R_i‧‧‧距離

θ₁、θ₂‧‧‧夾角

以下將參照圖式說明本發明之較佳實施例，以清楚說明本發明的各種上述及其他特徵與優點，其中，在不同視圖中的相同元件符號表示相同的元件，然圖式並非用以限制其比例，圖中所示之各特徵點的尺寸可以放大以清楚說明本發明。

圖1A及圖1B顯示一影像系統中的基本元件的示意圖。

圖2顯示一般感測器陣列之畫素的示意圖。

圖3包括本示例性實施例之二維感測器陣列的一平面圖。

圖4顯示依部份示例性實施例之修正一影像數據之透鏡陰影或暈影的邏輯流程圖。

圖5包括本示例性實施例之影像感測器的一功能方塊圖。

圖1A及圖1B顯示一影像系統中的基本元件的示意圖。詳言之，圖1A為影像系統中的基本元件的上視圖，圖1B為影像系統中的基本元件的側視圖。上述之基本元件包括一透鏡10以及一感測器陣列12。其中，透鏡10的中心14係對準於感測器陣列12之一中心畫素16。感測器陣列12中的畫素位置可依據由互相垂直之x軸與y軸所定義之笛卡兒座標系統設置，因此，感測器陣列12中的各畫素23係關聯於笛卡兒座標系統的一組座標(x,y)。特別是，感測器陣列12之中心畫素16的對應座標可以是(x_center,y_center)。

如上所述，一般而言，畫素23係關聯於笛卡兒座標系統的一組座標(x,y)。如圖1B所示，光線路徑25係從一物體或一畫面之一點24出發，然後通過透鏡10並會合於感測器陣列12之畫素23，進而成像。一般而言，對任一畫素23(座標為(x,y))而言，其透鏡陰影或暈影係與此畫素23及中心畫素16(座標為(x_center,y_center))之間的距離有關。

圖2顯示一般感測器陣列12之畫素23的示意圖。如圖2所示，在一示例性實施例中，感測器陣列12之各畫素23係由四個光學偵測器26A、26B、26C及26D所構成，其係以2x2的單位設置。在感測器陣列12中，每一組2x2的單位可被視為單一個畫素23。而在一組2x2的單位中，各偵測器26分別對應於一種特定的過濾色。在本示例性實施例中，偵測器26A係經過一藍色濾波器B處理，偵測器26B係經過一綠色濾波器Gr處理，偵測器26C係經過一綠色濾波器Gb處理，偵測器26D係經過一紅色濾波器R處理。因此，各偵測器26可以產生畫素23之一強度值。詳言之，偵測器26A可以產生畫素23之一藍色強度值B，偵測器26B可以產生畫素23之一綠色強度值Gr，偵測器26C可以產生畫素23之一綠色強度值Gb，偵測器26D可以產生畫素23之一紅色強度值R。在本示例性實施例中，畫素23之綠色強度值G係為第一及第二綠色強度值Gr及Gb的平均值，亦即G=(Gr+Gb)/2。因此，感測器陣列12之各畫素23可包括紅色、綠色及藍色強度值R、G、B。

圖3包括本示例性實施例之二維感測器陣列的一平面圖。感測器陣列12包括一二維陣列之畫素23，其包括表示一物體或畫面之一影像的資料。其中，各畫素23具有至少三種顏色強度的資料。舉例而言，如上所述，各畫素分別包括表示紅色、綠色及藍色(R、G、B)強度之強度資料。需注意者，在本說明書中，所述紅色、綠色及藍色(R、G、B)等顏色係僅為舉例說明，當然本發明亦可應用其他顏色組合，例如青綠色、黃色及紅紫色，或是紅色、綠色、藍色及白色，或是其他組合。

一般而言，與感測器陣列12之畫素23相關之資料可表示具有透鏡陰影或暈影效果之一影像。在一示例性實施例中，可以通過修正及/或更新畫素23之影像資料，以實質上減少或消除透鏡陰影或暈影效果。另外，亦可以修正及/或更新應用於辨識透鏡陰影或暈影效果之資料的透鏡模式。

請參照圖3所示，承上所述，各畫素23分別關聯於座標系統的一組笛卡兒座標(x,y)，其係由互相垂直之x軸與y軸所定義。感測器陣列12亦可包括一中心畫素16，其笛卡兒座標為(x_center,y_center)。在示例性實施例中，於修正透鏡陰影或暈影效果的過程中，可將各畫素23的座標轉換成極座標，亦即利用一組極座標(r,θ)來表示各畫素23的位置，其中，r表示該畫素23與中心畫素16(於此定義為極座標系統的原點畫素)的距離，θ表示通過畫素23與原點畫素或中心畫素16的直線與橫軸(或x軸)之間的夾角。

在示例性實施例中，首先定義出複數個徑向區域線17，其係從原點畫素或中心畫素16徑向延伸，並與橫軸(或x軸)形成一夾角θ₁。沿著各徑向區域線17設置有複數個區域19、21、25。且該複數個區域19、21、25構成一個畫素23群組，其係以徑向區域線27及29為邊界，並以一預設之徑向區域厚度徑向排列設置。其中，各區域19、21、25與中心畫素16的距離分別定義為一預設距離R_i。例如，區域19與中心畫素16的距離定義為一距離R₁，其相鄰之區域21與中心畫素16的距離定義為一距離R₂。

因此，各區域25的尺寸以及各區域25中的畫素23的數量可以依據各區域25的徑向厚度而定，其係依據與中心畫素16的距離R_i以及邊界直線27及29之間的夾角θ₂而定。在部分實施例中，各區域的參數，如徑向厚度及夾角θ₂，其全部或任一可以依據欲進行的影像修正的精準度而選定。

需注意者，圖3僅顯示一個徑向區域線17，但其僅為使本發明的內容更加簡潔明瞭，當然，在其他示例性實施例中，可以定義複數個徑向區域線17，以便在整個感測器陣列12中定義出區域25。此外，需注意者，圖3僅顯示沿著徑向區域線17設置之兩個相鄰之區域19及21，以及一個區域25，當然，實際上可以定義出複數個相鄰之區域，因此，在部分示例性實施例中，可以定義出徑向延伸之區域25，且其係徑向設置於感測器陣列12的原點或中心畫素16至其邊緣之間，並彼此相鄰設置。

圖4顯示依部份示例性實施例之修正一影像數據之透鏡陰影或暈影的邏輯流程圖，其係用以修正及更新一透鏡模式。請參照圖4所示，承上所述，在步驟100中，將各畫素23的座標轉換成極座標，並儲存各畫素23的極座標。接著，在步驟102中，將感測器陣列12區分成數個徑向區域25。如上所述，各區域25係沿一徑向區域線17定義。而且各區域25的尺寸可依據所期望的精準度而定，亦即，相對於較低精準度的情況，若要得到較高的精準度，則需要相對較多數量的較小區域25。

在步驟104中，其係提供透鏡模式。其中，透鏡模式可以在處理沿一徑向區域線17的前一群組之徑向區域25後更新而得。亦即，可以利用本發明之程序處理沿徑向區域線17的前一群組之區域25後估算並更新之透鏡模式，修正影像之透鏡陰影，然後，在處理當前群組之區域25時，利用展開殘留陰影以更新透鏡模式。

在步驟106中，其係計算並儲存各區域25的平均R值、平均G值及平均B值。其中，區域25的平均R值為此區域中所有畫素的R值的平均。同理，區域25的平均G值為此區域中所有畫素的G值的平均，而區域25的平均B值為此區域中所有畫素的B值的平均。

在步驟108中，其係將平均R值、平均G值及平均B值轉換成對數空間。接著，在步驟110中，在對數空間中計算各區域25的顏色分量。亦即，舉例而言，在顏色空間中將一區域之平均紅色值R除以該區域之平均綠色值G，以計算得到紅色分量，此數值可以利用將其對應之轉換對數值相減而得。亦即，R/G=log(R)-log(G)。同理，在顏色空間中將一區域之平均藍色值B除以該區域之平均綠色值G，以計算得到藍色分量，此數值可以利用將其對應之轉換對數值相減而得。亦即，B/G=log(B)-log(G)。在部分實施例中，若部分區域的數值過低，可將其歸類於黑色而不需上述計算。同理，若部分區域的數值過高(例如為飽和)時，亦可不需上述計算。而剩餘的顏色分量數值可用以針對各徑向區域線17產生徑向顏色向量，例如一紅色徑向顏色向量及一藍色徑向顏色向量。

接著，在步驟112中，利用一中值濾波器處理沿徑向方向之各徑向顏色向量，以便移除各區域25之資料中的雜訊。然後，在步驟114中，利用減去相鄰區域25之相對顏色分量數值，以求得各徑向顏色向量在相鄰區域25之間的顏色梯度。在部分實施例中，因為物體之顏色邊緣會有不真實的估算及修正，所以可區別由透鏡陰影或暈影所造成的梯度與實際影像內容。為達到上述步驟，由於實際物體之邊緣所造成之梯度係實質上大於由透鏡陰影或暈影所造成之梯度，所以較外側的梯度會從上述程序中移除，其中較外側的梯度例如為超過一臨限值的梯度或是在一預設範圍之外的梯度。其係詳述如下。針對所有梯度(不包括較外側的梯度)的計算結果可以得出該影像之一徑向梯度圖。

接著，在示例性實施例中，在步驟116中，其係計算透鏡陰影或暈影模式參數，例如可利用估算方式求得，以便進一步更新透鏡陰影或暈影模式，並修正影像資料以消除或減少暈影效果。在示例性實施例中，此步驟可以利用最佳化技術達成。在最常見的情況下，顏色暈影不會造成劇烈變化或實質梯度。因此，在部分示例性實施例中，可以利用二次多項式表示透鏡暈影的模式。在其他示例性實施例中，此模式可以發展成更高等級的多項式。承上所述，二次多項式係例如為：Y=C-a₁r-a₂r² (1)其中，C係為一參考常數，例如為中心畫素16之顏色強度，r表示與中心畫素16之距離或半徑，Y表示顏色分量數值，例如示例性實施例之藍色(B)或紅色 (R)，a₁及a₂係為本示例性實施例中估算出的模式參數。

針對上式(1)的半徑或距離r進行一次微分，可以得到：-Y'=a₁+2a₂r (2)其表示相對於r的顏色分量梯度。在部分示例性實施例中，上述模式參數可以利用線性迴歸方式處理徑向梯度圖後計算求得。在步驟118中，若一旦利用線性迴歸方式求得模式參數a₁及a₂，則可以用以修正剩餘部分，如當前徑向區域群組的處理中的影像陰影，並進一步將(a₁+a₂r)加回到前述之模式多項式(1)，以更新透鏡暈影模式。此外，由於上述運算利用對數空間在線性空間上的乘積，所以可以利用將對數空間轉換回線性空間以計算出其比值。

舉例而言，在部分示例性實施例中，若一畫素與中心畫素16之間的半徑(徑向距離)為r，利用上述求得之模式參數a₁及a₂，可以得到顏色Y=C-a₁r-a₂r²，其中，C表示中心畫素16的顏色。在示例性實施例中，將Y修正為等於C，則Y'=Y+a₁r+a₂r²=C。在對數空間中，加入a₁r+a₂r²以修正目前畫素之陰影，在線性空間中，乘上一增益值以得到R'/G'，例如，R'/G'=Gain x R/G，因此，Log(R'/G')=log(R/G)+log(Gain)，其中，log(Gain)=a₁r+a₂r²。然後，可以利用下式求得增益值(Gain)，Gain=exp(a₁r+a₂r²)。舉例而言，可以利用R'=Gain x R來修正紅色顏色陰影，並利用B'=Gain x B來修正藍色顏色陰影。

承上所述，在示例性實施例中，可依據形成原因為透鏡暈影或是物體邊緣或邊界，來區別徑向梯度。由於物體的顏色邊緣會導致錯誤估算，所以在部分示例性實施例中，因暈影所造成的顏色變動遠小於由實際物體邊緣所造成的顏色變動，所以模式參數的邊界可以定義為a_1min、a_1max、a_2min、a_2max。在模式參數a₁及a₂為邊界的情況下，梯度之邊界值可依據下式求得：G_min=a_1min+a_2minr (3)；以及G_max=a_1max+a_2maxr (4)然後，當梯度G的範圍為G_min<G<G_max，可以辨識出外側部位(例如非暈影所造成之梯度)，並進一步排除位於範圍之外的所有梯度。

在部分示例性實施例中，可以利用多個徑向區域25之間的梯度的計算結果來消除雜訊，例如，利用相距一徑向距離之兩個徑向區域之間的梯度的計算結果，可以有效地消除雜訊，舉例而言，若一向量為[x0,x1 x2,x3]，則其正常梯度為x1-x0、x3-x2，利用相距一徑向距離之兩個徑向區域25，可以計算求得梯度為(x2-x1)/2、(x3-x1)/2。

在部分示例性實施例中，可以應用一時間分割方法來減少用以儲存計算所需之資料的緩衝器的大小。亦即，例如可以利用兩個畫框來估算透鏡模式。舉例而言，將一極影像分成[64,24]，例如可將區域25之徑向解析度設為64，另外，可將360度的角度分成24個角形區域，例如將各區域線17的夾角設為θ₂=15(如圖3所示)。利用上述之時間分割方法，僅需處理奇數的角度的向量，而針對第二個畫框而言，僅需處理偶數的角度的向量即可。如此一來，便可將所需的資料儲存負荷減少一半。

圖5顯示包括本示例性實施例之一影像感測器200的一功能方塊圖。如圖5所示，影像感測器200包括一畫素陣列或感測器陣列205，其係如同前述之感測器陣列12。畫素陣列205通過位元線界面連接至讀出電路210。而讀出電路210可以將資料從畫素陣列205提供至功能邏輯215。

畫素陣列205界面連接於如前所述之處理電路220，並由處理電路220控制。如上所述，處理電路220包括用以實現本發明之影像系統的運作的所有電路。例如，處理電路220可包括一處理器222、一個以上之記憶體或儲存電路224以及一個以上之輸出入界面電路226。

需注意者，上述說明主要針對顏色暈影及其修正。當然，承上所述，本發明亦可以應用於強度暈影。例如可以利用上述顏色暈影修正的方法來修正R/G及B/G。對強度暈影修正而言，其進行之處理包括G或Y=(R+2G+B)/4，而其處理程序係與前述之顏色暈影修正的處理程序相同。

特徵之組合

在本發明之任意實施例中，估算該等參數之步驟包括應用一線性迴歸法進行估算。

在本發明之任意實施例中，該模式係為一多項式模式。

在本發明之任意實施例中，該模式係為一二次多項式模式。

在本發明之任意實施例中，該等參數係從該二次多項式之一次微分中取得。

在本發明之任意實施例中，原點畫素係位於影像之一光學中心。

在本發明之任意實施例中，處理電路包括一記憶體。

在本發明之任意實施例中，處理電路包括一處理器。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

100~118‧‧‧步驟

Claims

一種用以修正一影像之暈影之方法，該影像包括一二維陣列之影像畫素，各該影像畫素包括分別表示紅色、綠色及藍色強度之一R值、一G值及一B值，該方法包括：將該二維陣列之各影像畫素分別關聯至相對於一預選原點畫素之一組極座標；將該二維陣列之影像畫素區分成複數個區域，各該區域分別包括該二維陣列之影像畫素中的複數個畫素，該複數個區域包括複數個區域群組，各該區域群組係沿通過該預選原點畫素之一相關區域線徑向延伸；針對各該區域群組：針對該區域群組中的各該區域，計算一平均R值、一平均G值及一平均B值，該平均R值係為該區域中的該等畫素之該等R值的一平均值，該平均G值係為該區域中的該等畫素之該等G值的一平均值，該平均B值係為該區域中的該等畫素之該等B值的一平均值；將各該區域的該平均R值、該平均G值及該平均B值轉換成對數空間，以產生一R向量、一G向量及一B向量；利用一中值濾波器處理該R向量、該G向量及該B向量，以確認沿該區域線之顏色梯度；比較該等顏色梯度與一梯度臨限值；選擇未超出該梯度臨限值之梯度；利用所選出之該等梯度，估算用以產生該影像之一透鏡之一模式的參數；以及利用該等參數更新該透鏡之該模式並修正該影像。
如請求項第1項所述之用以修正一影像之暈影之方法，其中估算該等參數之步驟包括應用一線性迴歸法進行估算。
如請求項第1項所述之用以修正一影像之暈影之方法，其中該模式係為一多項式模式。
如請求項第1項所述之用以修正一影像之暈影之方法，其中該模式係為一二次多項式模式。
如請求項第4項所述之用以修正一影像之暈影之方法，其中該等參數係從該二次多項式之一次微分中取得。
如請求項第1項所述之用以修正一影像之暈影之方法，其中該原點畫素係位於該影像之一光學中心。
一種用以修正暈影之影像感測器，包括：一二維陣列之影像畫素，各該影像畫素包括分別表示紅色、綠色及藍色強度之一R值、一G值及一B值；以及一處理電路，其係耦接於該二維陣列之影像畫素，並用以執行下列步驟：將該二維陣列之各影像畫素分別關聯至相對於一預選原點畫素之一組極座標；將該二維陣列之影像畫素區分成複數個區域，各該區域分別包括該二維陣列之影像畫素中的複數個畫素，該複數個區域包括複數個區域群組，各該區域群組係沿通過該預選原點畫素之一相關區域線徑向延伸；針對各該區域群組：針對該區域群組中的各該區域，計算一平均R值、一平均G值及一平均B值，該平均R值係為該區域中的該等畫素之該等R值的一平均值，該平均G值係為該區域中的該等畫素之該等G值的一平均值，該平均B值係為該區域中的該等畫素之該等B值的一平均值；將各該區域的該平均R值、該平均G值及該平均B值轉換成對數空間，以產生一R向量、一G向量及一B向量；利用一中值濾波器處理該R向量、該G向量及該B向量，以確認沿該區域線之顏色梯度；比較該等顏色梯度與一梯度臨限值；選擇未超出該梯度臨限值之梯度；利用所選出之該等梯度，估算用以產生該影像之一透鏡之一模式的參數；以及利用該等參數，更新該透鏡之該模式並修正該影像。
如申請專利範圍第7項所述之影像感測器，其中該處理電路包括一記憶體。
如請求項第7項所述之用以修正暈影之影像感測器，其中該處理電路包括一處理器。
如請求項第7項所述之用以修正暈影之影像感測器，其中該模式係為一多項式模式。
如請求項第7項所述之用以修正暈影之影像感測器，其中該模式係為一二次多項式模式。
如請求項第11項所述之用以修正暈影之影像感測器，其中該等參數係從該二次多項式之一次微分中取得。
如請求項第7項所述之用以修正暈影之影像感測器，其中該原點畫素係位於該影像之一光學中心。