TWI528813B - 暈影校正方法及使用該方法之影像訊號處理器 - Google Patents

Description

暈影校正方法及使用該方法之影像訊號處理器

本發明係關於影像訊號處理技術，更係關於用以降低鏡片暈影現象之影像訊號處理技術。

鏡片暈影是一光學成像中常見的現象，其會使影像邊緣的亮度降低(低於影像中心)。此現象透常是由透鏡機構的缺陷所造成。舉例而言，當部分投射至影像感測器的離軸光束被諸如濾波器、第二組鏡片、遮光罩等所阻斷時，就會造成此鏡片暈影現象。實際上，鏡片暈影現象之產生主要是因為影像中心與影像周邊存在光程差之緣故。

鏡片暈影現象通常被視為一種不必要的效果。因此，通常會使用一種稱為鏡片暈影校正(lens shading correction，LSC)的影像訊號處理技術來補償此效果。一般來說，鏡片暈影校正方法之目的是為了調整影像之亮度以附合下述條件：(1)具有最大亮度之像素位於影像中心或其附近；(2)其他像素之亮度不小於，例如，最大亮度的0.8倍。

第1A圖與第1B圖繪示習知技術的鏡片暈影校正方法-網格法(Mesh Grid)。在此網格法下，第1A圖的整個影像被切割 成多個子區域，而各區域被給定一增益值，例如：1.9、1.8、1.7及1.6(如第1B圖所示)，藉以分別微調各個子區域之亮度。然而，當一影像具有大量像素時，此方法需要相當多的暫存器或記憶單元儲存所有的增益值，因此提高硬體成本。

習知技術還有一種鏡片暈影校正方法，其採用高階多項式來計算影像中各個像素的增益值。下式為此方法中用以計算像素增益值的範例二元四階多項式L_gain：L _gain =A×(x-x _c )⁴+B×(x-x _c )³+C×(x-x _c )²+D×(x-x _c )+E×(y-y _c )⁴+F×(y-y _c )³+G×(y-y _c )²+H×(y-y _c )+I+C ₁₁(x-x _c )³(y-y _c )+C ₁₂(x-x _c )²(y-y _c )²+C ₁₃(x-x _c )(y-y _c )³+C ₁₄(x-x _c )²(y-y _c )+C ₁₅(x-x _c )(y-y _c )²+C ₁₆(x-x _c )(y-y _c )，其中(x，y)表示一像素之卡式(Cartesian)；(x_c，y_c)表示此多項式的中心點；而A、B、C、D、E、F、G、H、I與C_1j，j=1~6為此多項式的給定係數。值得注意的是，雖然此方法可產生更精確的像素增益值，但其計算方式相當繁雜，因此也需要相當高的硬體成本。

習知技術同樣也有利用低階多項式計算增益的鏡片暈影校正方法。然而，在多數的情況中，此方法所得到的影像相對亮度(即，影像角落的亮度與影像中央的亮度之比值)仍低於30%，無法符合前述的影像亮度調整要求。

本發明提供一種暈影校正方法，用以校正一影像之像素，包括：接收一既有像素之一座標；於該影像上設定一臨界範圍；提供一第一增益方程式以及一第二增益方程式，各增益方 程式分別將該像素之座標對應至亮度增益；對臨界範圍以內的既有像素執行第一增益方程式以計算其亮度增益；以及對臨界範圍以外的既有像素執行一混合增益方程式以計算其亮度增益，其中該混合增益方程式為該第一增益方程式與該第二增益方程式之混合。

本發明又提供一影像訊號處理器，用以對一影像之像素進行鏡片暈影校正，包括：一設定單元，用以輸入該像素之座標並於該影像上設定一臨界範圍；一增益方程式產生單元，用以產生一第一增益方程式以及一第二增益方程式，各增益方程式分別將該像素之座標對應至亮度增益；一計算單元，耦接至該增益方程式產生單元與該設定單元，用以對臨界範圍以內的既有像素執行第一增益方程式以計算其亮度增益，以及對臨界範圍以外的既有像素執行一混合增益方程式以計算其亮度增益，其中該混合增益方程式為該第一增益方程式與該第二增益方程式之混合。

S201~S212‧‧‧步驟

300‧‧‧影像

310‧‧‧圓心

Lg1‧‧‧第一增益

Lg2‧‧‧第二增益

500‧‧‧影像訊號處理器

510‧‧‧設定單元

520‧‧‧增益方程式產生單元

530‧‧‧計算單元

522‧‧‧增益方程式單元

524‧‧‧增益方程式單元

532‧‧‧分割器

534‧‧‧增益方程式混合器

600‧‧‧影像訊號處理器

610‧‧‧設定單元

620‧‧‧增益方程式產生單元

630‧‧‧計算單元

621‧‧‧多工器

622‧‧‧增益方程式單元

632‧‧‧分割器

533‧‧‧延遲器

第1A圖與第1B圖繪示習知技術的鏡片暈影校正方法-網格法。

第2圖為依據本發明一實施例之鏡片暈影校正方法流程圖。

第3A圖為執行前述實施例之鏡片暈影校正方法時之影像。

第3B圖為一實施例中第一增益方程式與第二增益方程式之曲線圖。

第4圖為另一實施例中第一增益方程式與第二增益方程式之曲線圖。

第5圖係依本發明一實施例之影像訊號處理器示意圖。

第6圖係依據本發明一實施例之影像訊號處理器示意圖。

下文為介紹本發明之最佳實施例。各實施例用以說明本發明之原理，但非用以限制本發明。本發明之範圍當以後附之權利要求項為準。

第2圖為依據本發明一實施例之鏡片暈影校正方法流程圖。本發明之鏡片暈影校正方法係用以補償影像中像素上的鏡片暈影現象。此實施例之鏡片暈影校正方法包括：在步驟S201中，接收一既有像素之一座標；在步驟S202中，計算該既有像素與中心點的距離；在步驟S204中，提供一第一增益方程式與一第二增益方程式，各增益方程式分別將該像素之座標對應至亮度增益；在步驟S206中，判斷該影像的既有像素是否位於一臨界範圍之內；若判斷為是，則在步驟S208中對該像素(臨界範圍內的像素)執行第一增益方程式以計算其亮度增益；若判斷為否，則在步驟S210中將第一增益方程式與第二增益方程式混合以產生一混合增益方程式；並在步驟S212中對該像素(臨界範圍外的像素)執行混合增益方程式以計算其亮度增益。將此方法套用在該影像的所有像素上，並以新算得的亮度增益更新舊像素，即可大幅降低影像中的鏡片暈影現象。下文的最佳實施例中將再進一步詳述這 些步驟。

《方法實施例1》

第3A圖為執行前述實施例之鏡片暈影校正方法時之影像。矩形影像300具有一中心(即影像中心)，其座標為(X_c，Im，Y_c，Im)，而影像包含複數個像素，其座標為(x，y)。為了提供計算亮度增益的基礎，本方法在影像300上設定一臨界範圍310，藉以將影像300分割成兩個區域：內部區域及外部區域。在此理想實施例中，臨界範圍310之係呈一圓圈狀，該圓圈具有半徑Th及一圓心，該圓心之座標為(X_c，Th，Y_c，Th)，位於影像中心(X_c，Im，Y_c，Im)之附近。圓心(X_c，Th，Y_c，Th)可為鏡片暈影的中心點。請注意到，雖然為了方便說明本方法採用特定的圓圈形狀做為臨界範圍，但臨界範圍310的設計及選用可具有多種形態，不必以此實施例為限。步驟201會接收一既有像素之一座標。之後，步驟202可計算出既有像素與圓心間之距離。像素(X，Y)與圓心(X_c，Th，Y_c，Th)間之距離“r”可由下式算得：

接著，步驟S204-S212可依據距離r、一第一增益方程式(方程式1)以及一第二增益方程式(方程式2)計算出該既有像素之增益。步驟204中提供第一增益方程式(方程式1)以及第二增益方程式(方程式2)。該第一與第二增益方程式，舉例而言，皆為具有給定係數的二階多項式函數，如下所式：L _g1=a1×r²+a2×r+a3(方程式1)；以及L _g2=b1×r²+b2×r+b3(方程式2)， 其中“L_g1”與“L_g2”表示與圓心(X_c，Th，Y_c，Th)間距r的一像素之亮度增益，而“a1~a3”與“b1~b3”為該函數中給定的係數。第3B圖為第一增益方程式L_g1與第二增益方程式L_g2之曲線圖，分別以不同虛線表示(另一混合增益方程式係以實線表示，後文將再詳述之)，定義了亮度增益“L_g”與距離“r”(像素(X，Y)與圓心(X_c，Th，Y_c，Th)的距離)之間的關係。在此實施例中，可預先設定兩增益方程式之係數，或由影像處理器依據操作條件的改變(例如亮度或色溫的改變)動態地調整兩增益方程式之係數。如第3B圖所示，第一與第二增益方程式會使位於圓心(X_c，Th，Y_c，Th)處的像素具有相同的亮度增益。

在步驟S206中，本方法進一步判斷該影像300之既有像素(X，Y)是否位於該臨界範圍的內部。特別的是，步驟S206會進一步將像素(X，Y)與圓心(X_c，Th，Y_c，Th)之間的距離“r”與圓圈310之半徑“Th”做比較。之後，若步驟S206的判斷結果為“是”(r<Th)，則本方法進入步驟S208，將對該像素執行第一增益方程式(L _g1=a1×r²+a2×r+a3)以計算其亮度增益。若步驟S206之判斷結果為“否”(r>Th)，則本方法進入步驟S210以產生一混合增益方程式，並接著進入步驟S212對像素執行混合增益方程式以計算其亮度增益。混合增益方程式可由所述的混合程序(步驟S210)得到，在該混合程序中，第一增益方程式將與第二增益方程式代數結合。在此最佳實施例中，混合增益方程式為下述兩者之合：第一增益方程式(L _g1=a1×r²+a2×r+a3)乘上一第一係數β(r)，以及第二增益方程式(L _g2=b1×r²+b2×r+b3)乘上一第二係數α(r)。第一係數β(r)可為1減去第二係數α(r) 。步驟S206、S208、S210與S212可一併由下列式子表示：若r<Th，則L _g =L _g1=a1×r²+a2×r+a3；若r>Th，則L _g =L _g,blend =α(r)×L _g2+β(r)×L _g1=α(r)×L _g2+(1-α(r))×L _g1混合程序(步驟S210)的主要目的即在於尋求該像素之第二係數α(r)。第二係數α(r)可透過下式計算而得： 其中，如第3A圖所示，“Th”表示圓圈310之半徑，“h”表示影像300之中心與邊緣之最大距離(在此實施例中，即影像300之對角線的長度之半)，而“d”等於“h”加上影像中心與圓心之距離。當像素(位於臨界範圍310外之像素)靠近臨界範圍310之邊界時，第二係數α(r)將減至接近零，而當該像素靠近影像300之邊緣時將增加至接近1。因此，如第3B圖所示，混合增益方程式係一特別的方程式，其在像素接近臨界範圍之邊界時“混入”較多的第一方程式以及較少的第二方程式，並在像素接近影像之邊緣時“混入”較多的第二方程式以及較少的第一方程式。透過前述的兩段式運算(一者以第一增益方程式處理臨界範圍以內的像素，另一者以混合增益方程式處理臨界範圍以外的像素)，可適當地取得該影像300中所有像素的亮度增益。

《方法實施例2》

然而，在上述實施例中，可透過第3B圖的曲線圖看 出，混合增益方程式之曲線在r=Th處不夠圓滑，因此造成影像300呈現不夠自然的亮度變化。因此，本發明提供另一種執行混合程的實施例。與前述實施例相較而言，此實施例除了與步驟S210不同外，其餘步驟皆相同。其中，臨界範圍亦呈一圓圈(如第3A圖所示)；一像素與圓心之距離“r”為：，而該第一、第二及混合增益方程式分別為：L _g1=a1×r²+a2×r+a3、L _g2=b1×r²+b2×r+b3、L _g,blend =α(r)×L _g2+β(r)×L _g1=α(r)×L _g2+(1-α(r))×L _g1。相似地，此實施例之步驟S208可對臨界範圍以內的像素執行第一增益方程式，而步驟S21可對臨界範圍以外的像素執行混合增益方程式。然而，此實施例與步驟S210中計算第二係數α(r)的方式有所不同。在此實施例中，第二係數α(r)係依據下式計算： d ²=h ²+(X _c,Th -X _c,Im)²+(Y _c,Th -Y _c,Im)² 第4圖為此實施例之混合增益方程式曲線圖。比較第4圖與3A圖的曲線可發現，此實施例中之混合增益方程式在r=Th處具有較前述實施例更為圓滑的轉折。

《方法實施例3》

雖然前述兩實施例採用圓形的臨界範圍，但本發明的臨界範圍可為各種形狀，只要能被適當的運算即可。舉例而言，臨界範圍310之形狀可為一圓錐體與一平面相交之截面，可為橢圓形、拋物線形或雙曲線形。此實施例與前述實施例相同的步 驟在於：像素與臨界範圍中心的距離“r”為：，而第一、第二混合增益方程式分別為：L _g1=a1×r²+a2×r+a3、L _g2=b1×r²+b2×r+b3、L _g,blend =α(r)×L _g2+β(r)×L _g1=α(r)×L _g2+(1-α(r))×L _g1。然而，此實施例在步驟S208的第一增益方程式與步驟S212中的混合增益方程式中另外引入一輔助參數G_aux。此實施例之步驟S206、S208、S210與S212可一併由下式表示：若r<Th，則，L _g =L _g1+G_aux=a1×r²+a2×r+a3+G_aux,G_aux=c1×(X-X_c,Th)+c2×(Y-Y_c,Th)；若r>Th，則，L _g =L _g,blend +G_aux=α(r)×L _g2+(1-α(r))×L _g1+G_aux，其中“c1”與“c2”為給定的係數。

為了方便說明，前文描述了本發明鏡片暈影校正方法的三個實施例，然而本發明不必以此為限，熟悉本技藝人士可藉由其他合適的數學模型實施本發明。

《裝置》

除了前述的鏡片暈影方法，本發明另提供一種用以執行鏡片暈影校正方法的影像訊號處理器。第5圖係依本發明一實施例之影像訊號處理器示意圖。影像訊號處理器500係用以對一影像之像素執行前文所述之鏡片暈影校正方法，其包括一設定單元510、一增益方程式產生單元520以及一計算單元530。明確地說，設定單元510可接收既有像素之座標並計算既有像素與一 中心點之距離r。增益方程式產生單元520可依據距離r及參數a1、a2、a3、b1、b2與b3計算出一第一增益Lg1與一第二增益Lg2，其又包括一第一增益方程式單元522與一第二增益方程式單元524，分別用以產生第一增益L_g1與第二增益L_g2。計算單元530係耦接至設定單元510與增益方程式產生單元520，可用以判斷影像中的既有像素是否位於臨界範圍之內(步驟S206)，若是，則對位於臨界範圍之內的既有像素套用第一增益L_g1以作為其亮度增益，若否，則將第一與第二增益L_g1與L_g2混合以產生一混合增益，並對位於臨界範圍之外的既有像素套用該混合增益亮度增益以作為其亮度增益。計算單元530更包括一分割器532與一增益方程式混合器534。該分割器532係用以依據臨界範圍產生一第一係數(例如前述實施例之β(r))與一第二係數(例如前述實施例之α(r))，其中第一係數可為1減去第二係數(例如，β(r)=1-α(r))，而第二係數則介於0與1之間，取決於像素與臨界範圍之邊界間之距離而定。增益方程式混合器534係用以計算下述兩者之合：第一增益乘上一第一係數，以及第二增益乘上一第二係數(即計算混合增益方程式L_g，blend，其中L _g,blend =α(r)×L _g2+β(r)×L _g1=α(r)×L _g2+(1-α(r))×L _g1)。明確地說，與實施例1相似，當臨界範圍為具有一圓心及一半徑之圓圈時，分割器532可透過下式產生第二係數α(r)：，以及。或者，與實施例2相似，分割器532可透過下式產生第二係數α(r)： r ²=(X-X _c,Th )²-(Y-Y _c,Th )²，以及d ²=h ²+(X _c,Th -X _c,Im)²+(Y _c,Th -Y _c,Im)²，其中(X ，Y)表示像素之座標；(X_c，Th，Y_c，Th)表示圓心之座標；(X_c，Im，Y_c，Im)表示影像中心之座標，h表示影像中心與影像邊緣間之最大距離，而Th表示該圓圈之半徑。值得注意的是，本發明可預先設定第一與第二增益方程式之係數L_g1與L_g2(例如第5圖所示之{a1，a2，a3}與{b1，b2，b3})並將其儲存於計憶體(圖未示)中，或著，本發明的影像訊號處理器500亦可依據操作狀態的改變(例如亮度及色溫的改變)調整該第一與第二增益方程式之係數L_g1與L_g2。由於前述實施例(實施例1、2、3)已詳細說明了本發明的相關數學模型其及係數，熟悉本技藝人士可藉由閱讀前述實施例了解本發明之影像訊號處理器500，因此本文不再對影像訊號處理器500多加贅述。

第6圖係依據本發明一實施例之影像訊號處理器示意圖。影像訊號處理器600係用以對影像之像素執行鏡片暈影校正方法，其包括一設定單元610、一增益方程式產生單元620以及一計算單元630。明確地說，設定單元610接收既有像素之座標，並計算該既有像素與影像中心之距離。增益方程式產生單元620包括一多工器621以及一增益方程式unit622。多工器621從兩組參數{a1，a2，a3}及{b1，b2，b3}選出其中一組，而增益方程式單元622接收該距離r以及該選出之參數，藉以依據所選出之參數選擇性地計算第一增益Lg1或第二增益Lg2。計算單元530耦接至設定單元510與增益方程式產生單元520，可用以判斷影像中的既有像素是否位於臨界範圍之內，若是，則對位於臨界範圍之內的像素套用第一增益L_g1以作為其亮度增益，若否，則將第一與第二增益L_g1對L_g2混合以產生一混合增益，並對位於臨界 範圍之外的像素套用該混合增益方程式以作為其亮度增益。計算單元630更包括一分割器632、一延遲器533以及一增益方程式混合器634。該分割器632係用以依據臨界範圍產生一第一係數(即前述實施例之β(r))以及一第二係數(即前述實施例之α(r))，其中該第一係數可為1減去該第二係數(即，β(r)=1-α(r))，而該第二係數可依據像素與臨界範圍之邊界間之距離變動於0與1之間。分割器533可用以在多工器621選擇參數{b1，b2，b3}時將第二增益Lg2傳送至增益方程式混合器634。增益方程式混合器634係用以計算下列兩者之合：第一增益Lg1乘上一第一係數，以及第二增益Lg2乘上一第二係數(即，計算混合增益方程式L_g，blend，其中L _g,blend =α(r)×L _g2+β(r)×L _g1=α(r)×L _g2+(1-α(r))×L _g1)。影像處理器600只使用單一增益方程式單元622，而非如同影像處理器500般使用兩個增益方程式單元522、524，因而可進一步節省硬體成本。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

S201~S212‧‧‧步驟

Claims (13)

1. 一種暈影校正方法，用以校正一影像之像素，包括：接收一既有像素之一座標；於該影像上設定一臨界範圍；提供一第一增益方程式以及一第二增益方程式，各增益方程式分別將該像素之座標對應至亮度增益；對臨界範圍以內的既有像素執行第一增益方程式以計算其亮度增益；以及對臨界範圍以外的既有像素執行一混合增益方程式以計算其亮度增益，其中該混合增益方程式為下述兩者之和：第一增益方程式乘上一第一係數，以及第二增益方程式乘上一第二係數，其中該第一係數為1減去該第二係數，而該第二係數介於零與1之間，其值係取決於該像素該臨界範圍之邊界之距離。
2. 如申請專利範圍第1項所述之暈影校正方法，其中該臨界範圍係一圓圈，具有一圓心及一半徑，而該第二係數係由下式計算而得：；以及 其中(X，Y)表示該像素之座標，(X_c，Th，Y_c，Th)表示該圓圈之圓心之座標，(X_c，Im，Y_c，Im)表示該影像之中心之座標，h 表示該影像中心與該影像之邊緣之最大距離，而Th表示該圓圈之半徑。
3. 如申請專利範圍第1項所述之暈影校正方法，其中當該臨界範圍為具有一圓心及一半徑之一圓圈時，該第二係數係由下式計算而得：；以及r ²=(X-X _c,Th )²-(Y-Y _c,Th )²；d ²=h ²+(X _c,Th -X _c,Im)²+(Y _c,Th -Y _c,Im)²，其中(X，Y)表示該像素之座標，(X_c，Th，Y_c，Th)表示該圓圈之圓心之座標，(X_c，Im，Y_c，Im)表示該影像之中心之座標，h表示該影像中心與該影像邊緣之最大距離，而Th表示該圓圈之半徑。
4. 如申請專利範圍第1項所述之暈影校正方法，其中該第一增益方程式與該第二增益方程式皆為具有既定係數的二階多項式函數。
5. 如申請專利範圍第1項所述之暈影校正方法，更包括：對該臨界範圍之該邊界上之像素執行該第一增益方程式或該混合增益方程式。
6. 一種影像訊號處理器，用以對一影像之像素進行鏡片暈影校正，包括：一設定單元，用以輸入該像素之座標並於該影像上設定一臨界範圍； 一增益方程式產生單元，用以產生一第一增益方程式以及一第二增益方程式，各增益方程式分別將該像素之座標對應至亮度增益；一計算單元，耦接至該增益方程式產生單元與該設定單元，用以對臨界範圍以內的既有像素執行第一增益方程式以計算其亮度增益，以及對臨界範圍以外的既有像素執行一混合增益方程式以計算其亮度增益，其中該混合增益方程式為該第一增益方程式與該第二增益方程式之混合，其中該計算單元更包括一分割器，用以依據該臨界範圍產生一第一係數與一第二係數，其中該該第一係數為1減去該第二係數，而該第二係數介於零與1之間，其值係取決於該像素該臨界範圍之邊界之距離。
7. 如申請專利範圍第6項所述之影像訊號處理器，其中該計算單元更包括：一增益方程式混合器，用以計算下述兩者之合：第一增益方程式乘上一第一係數，以及第二增益方程式乘上一第二係數。
8. 如申請專利範圍第7項所述之影像訊號處理器，其中當該臨界範圍係具有一圓心及一半徑之一圓圈時，該分割器依據下式產生該第二係數：；以及 其中(X，Y)表示該像素之座標，(X_c，Th，Y_c，Th)表示該圓圈之圓心之座標，(X_c，Im，Y_c，Im)表示該影像之中心之座標，h表示該影像中心與該影像之邊緣之最大距離，而Th表示該圓圈之半徑。
9. 如申請專利範圍第7項所述之影像訊號處理器，其中當該臨界範圍為具有一圓心及一半徑之一圓圈時，該分割器係依據下式產生該第二係數：；以及r ²=(X-X _c,Th )²-(Y-Y _c,Th )²；d ²=h ²+(X _c,Th -X _c,Im)²+(Y _c,Th -Y _c,Im)²，其中(X，Y)表示該像素之座標，(X_c，Th，Y_c，Th)表示該圓圈之圓心之座標，(X_c，Im，Y_c，Im)表示該影像之中心之座標，h表示該影像中心與該影像邊緣之最大距離，而Th表示該圓圈之半徑。
10. 如申請專利範圍第6項所述之影像訊號處理器，其中該第一與該第二增益方程式之係數為預先設定，並且儲存於一記憶體之中。
11. 如申請專利範圍第6項所述之影像訊號處理器，其中該影像訊號處理器依據操作條件的變化動態地調整該第一與該第二增益方程式之係數。
12. 如申請專利範圍第6項所述之影像訊號處理器，其中該增益方程式產生單元更包括：一多工器，用以選擇一第一組參數或一第二組參數；以及一增益方程式單元，用以由該多工器接收該第一及第二組參數，並依據所選擇的參數選擇性地計算該第一增益方程式之一第一增益或該第二增益方程之一第二增益。
13. 如申請專利範圍第12項所述之影像訊號處理器，其中該計算單元更包括：一延遲器，耦接於該增益方程式產生單元與該增益方程式混合器，用以在選擇該第二組參數時，將該第二增益傳送給該增益方程式混合器。