TWI552603B - 影像校正系統以及方法 - Google Patents

Description

影像校正系統以及方法

本發明係有關於一種影像校正系統以及方法，特別係有關於一種根據輸入影像之變異數以及像數平均值之比值執行影像校正之影像校正系統以及方法。

由於數位影像產業之發展迅速，影像感測器係廣泛地應用於數位相機系統中，然而為了追求更加之影像品質，使用者對於影像感測器之影像處理功能之要求亦越來越高。對數位相機系統而言，影像感測器通常必須具備有去除雜訊、消除影像串擾(cross-talk)以及修正感光單元之缺陷(defect)之功能，然而習知技術中於進行影像串擾之消除時，保留細節以及消除雜訊將無法同時兼顧，因為若欲保留較多之細節，則將無法有效地去除雜訊，或者若欲去除較多之雜訊，則細節則會越模糊，故。此外，由於影像增益以及曝光時間會影響缺陷影像之偵測。因此，如何提高影像處理之效能並同時維持裝置之成本為目前所需解決之問題。

為解決上述問題，本發明一實施例提供一種影像校正系統，包括一影像擷取模組、一第一計算模組、一第二計算模組以及一輸出模組。影像擷取模組用以取得一輸入影像以及一引導影像。第一計算模組用以根據一第一參數以及一第二 參數取得一第一校正影像。第一計算模組更根據一比值以及引導函數之像素平均值取得一平滑函數，根據引導影像之像素平均值、引導影像之變異數、輸入影像之像素平均值以及平滑函數取得第一參數，以及根據第一參數、引導影像之像素平均值以及輸入影像之像素平均值取得第二參數。第二計算模組用以根據引導影像之像素平均值以及引導影像之變異數取得比值。輸出模組用以輸出上述第一校正影像。

本發明另一實施例提供一種影像校正方法，步驟包括：取得一輸入影像以及一引導影像；根據引導影像之像素平均值以及引導影像之變異數取得一比值；根據上述比值以及引導函數之像素平均值取得一平滑函數；根據引導影像之像素平均值、引導影像之變異數、輸入影像之像素平均值以及平滑函數取得一第一參數；根據第一參數、引導影像之像素平均值以及輸入影像之像素平均值取得一第二參數；根據第一參數以及第二參數計算一引導濾波函數；以及根據引導濾波函數取得一第一校正影像。

100‧‧‧影像校正系統

110‧‧‧影像擷取模組

120‧‧‧第一計算模組

130‧‧‧第二計算模組

140‧‧‧輸出模組

150‧‧‧第三計算模組

301‧‧‧中心像素

305‧‧‧既定範圍

S401-S407‧‧‧步驟流程

第1圖係顯示根據本發明一實施例所述之影像校正系統之方塊圖；第2A、2B、2C圖係顯示根據本發明一些實施例所述之像素分佈之示意圖；第3A、3B圖係顯示根據本發明一實施例所述之缺陷像素之示意圖； 第4圖係顯示根據本發明一實施例所述之影像校正方法之流程圖。

有關本發明之系統以及方法適用之其他範圍將於接下來所提供之詳述中清楚易見。必須了解的是下列之詳述以及具體之實施例，當提出有關影像校正系統以及方法之示範實施例時，僅作為描述之目的以及並非用以限制本發明之範圍。

第1圖係顯示根據本發明一實施例所述之影像校正系統100之方塊圖。如第1圖所示，影像校正系統100包括一影像擷取模組110、一第一計算模組120、一第二計算模組130以及一輸出模組140。影像擷取模組110用以取得一輸入影像p以及一引導影像I。其中，引導影像I可為預設影像、亮度較亮之輸入影像p'(相較於原輸入影像p具有較多之細節)或者輸入影像p。於取得輸入影像p以及引導影像I後，第一計算模組120取得引導影像I中對應於一濾波視窗w之像素平均值以及變異數σ²，並將像素平均值以及變異數σ²輸出至第二計算模組130。其中，上述變異數用以表示一隨機變數與其期望值的距離。第二計算模組130係根據上述參數值取得像素平均值與變異數σ²之比值，即，並將上述比值回傳回第一計算模組120。

由於可根據影像中像素之平均值以及變異數取得像素值之分佈情形，故可藉由計算像素平均值以及變異數之比值得知影像中細節之多寡。舉例來說，第2A、2B、2C圖係顯示根據本發明一些實施例所述之不同像素分佈之示意圖。如第2A圖所示，當區域中各像素之像素值分佈較為平坦時(如圖中 所示僅有四個深色方塊隨機分佈區域中)，表示該區域所具有之影像細節很少，而第二計算模組130所取得之像素平均值與變異數σ²之比值約為0。如第2B圖所示，當區域中各像素之像素值之分佈為隨機分佈時(如圖中所示白色方塊以及深色方塊係隨機分佈於區域中)，表示影像中具有少許雜訊或者少許細節，而第二計算模組130所取得之像素平均值與變異數σ²之比值約為1。如第2C圖所示，當區域中各像素之像素值之具有明顯之群集分佈時(如圖中所示白色方塊以及深色方塊係群集分佈於區域中)，表示該區域中具有邊緣或者較多之影像細節，而第二計算模組130所取得之像素平均值與變異數σ²之比值則遠大於1。

接著，第一計算模組120根據上述比值以及引導函數I之像素平均值取得平滑函數f(k)。其中，取得平滑函數f(k)之公式如下所示：

其中，為變異數因子(variance factor)， 為平均值因子(mean factor)，而c1、c2皆為常數值，以及k表示第k個濾波視窗。

於取得平滑函數f(k)後，第一計算模組120根據引導影像I之像素平均值、引導影像I之變異數σ²、輸入影像p之像素平均值P以及平滑函數f(k)取得第一參數a _k ，以及根據第一參 數a _k 、引導影像I之像素平均值以及輸入影像p之像素平均值取得第二參數b _k 。其中，取得第一參數a _k 、第二參數b _k 之公式如下所示：

其中，w _k 為第k個濾波視窗，|w|為上述第k個濾波視窗中之像素數量，I _i 為引導影像I第i個像素，p _i 為上述輸入影像p第i個像素，為上述引導影像I之上述第k個濾波視窗之像素平均值，為上述輸入影像p之上述第k個濾波視窗之像素平均值，為上述引導影像I之上述第k個濾波視窗之變異數。

於取得第一參數a _k 以及第二參數b _k 後，第一計算模組120根據一第一參數a _k 以及一第二參數b _k 取得一第一校正影像q _i 。其中取得第一校正影像之公式如下所示：q _i =a _k I _i +b _k

其中，q _i 為第一校正影像。

由於變異數因子可根據像素平均值與變異數σ²之比值得知區域中影像細節之多寡，故上述平滑函數f(k)可藉由 調整c1之值決定之最平坦之區域(即)所要模糊之程度， 其中越模糊則代表越平整，即每個像素之像素值與相鄰像素之像素值之差異越小。此外，使用者更藉由調整c1之值決定所要 保留細節之程度，即當大於c1時，平滑函數f(k)係為0，使 得第一計算模組120將完全保留該區域之影像細節。

由於平均值因子中之像素平均值係與影像之亮暗程度有關，故上述平滑函數f(k)可藉由調整c2之值決定所有影像區塊所要模糊之程度，即c2之值越大，所有影像區塊則越模糊。然而，在同一亮度之情況下，c2之值越大，第一參數a _k 之值越小，第二參數b _k 之值越大，則第一校正影像q _i 越接近輸入影像p之平均值，即第一校正影像q _i 具有較多輸入影像p之細節。反之，c2之值越小，第一參數a _k 之值越大，第二參數b _k 之值越小，則第一校正影像q _i 具有較多引導影像I之細節。此外，當為極大值時(即影像中之亮部區域)，第一參數a _k 會趨近於0，使得第二參數b _k 等於輸入影像p之像素平均值，如此即可消除影像中之影像串擾。

綜上所述，使用者可藉由調整c1決定保留細節之多寡，再藉由調整c2決定不同亮度之區域之模糊程度。

根據本發明另一實施例，影像校正系統100更可包括一第三計算模組150，用以根據既定範圍中各個像素之間之平均值與變異數σ²之比值之關係判斷輸入影像p是否具有缺陷像素(即中心像素之值與周圍之像素之值有明顯差異)。在此，使用者可透過定義一第一既定值以作為決定該中心像素是否為缺陷像素之第一條件，以及透過判斷超過第一既定值之像素數量是否超過一第二既定值以作為決定該中心像素是否為缺陷像素之第二條件。當第一既定值以及第二既定值越大時，代表判斷缺陷像素成立之條件越高，反之，判斷缺陷像素成立之條件則越低。舉例來說，第3A、3B圖係顯示根據本發明一實 施例所述缺陷像素之示意圖。如第3A圖所示，當影像中具有一像素值遠大於相鄰像素之像素值之像素(如圖中斜線所示)時，藉由計算各像素之間平均值與變異數σ²之比值後，可得到如第3B圖所示之結果。接著，第三計算模組150更判斷以該像素為中心之既定範圍305中大於第一既定值(於此實施例中將其設定為100)之像素數量是否大於第二既定值(於此實施例中將其設定為18)。如第3B圖所示，由於像素值大於100之像素數量為24個，係滿足缺陷像素成立之條件，故第三計算模組150判斷該像素為一缺陷像素。於判斷中心像素為缺陷像素後，第三計算模組150即根據一般習知之缺陷像素修正方法修正該缺陷像素以取得第二校正影像。此外，於修正缺陷像素後，輸出模組140更可根據第一校正影像以及第二校正影像輸出第三校正影像。

請配合第1圖參閱第4圖。第4圖係顯示根據本發明一實施例所述之影像校正方法之流程圖。首先，於步驟S401，影像擷取模組110取得一輸入影像以及一引導影像。其中，引導影像可為預設影像、亮度較亮之輸入影像(相較於原輸入影像具有較多之細節)或者輸入影像。於步驟S402，第一計算模組120根據輸入之引導影像計算引導影像之像素平均值、引導影像之變異數以及輸入影像之像素平均值。於步驟S403，第二計算模組130根據引導影像之像素平均值以及引導影像之變異數計算像素平均值對應於變異數之比值。於步驟S404，第一計算模組120根據第二計算模組130所計算之比值以及引導影像之像素平均值取得一平滑函數。於步驟S405，第一計算模組120 更根據引導影像之像素平均值、引導影像之變異數、輸入影像之像素平均值以及平滑函數取得一第一參數。於步驟S406，第一計算模組120更根據第一參數、引導影像之像素平均值以及輸入影像之像素平均值取得一第二參數。最後，於步驟S407，第一計算模組120根據第一參數、第二參數以及引導影像取得第一校正影像，並透過輸出模組140輸出第一校正影像。值得注意的是，有關計算平滑函數、第一參數以及第二參數之相關公式係與影像校正系統100所使用之公式相同，在此即不加以描述以精簡說明。

根據本發明另一實施例，於取得引導影像之像素平均值對應於引導影像之變異數之比值後，第三計算模組150更判斷既定範圍中各個像素所對應之上述比值是否超過第一既定值，以及判斷超過第一既定值之像素數量是否超過第二既定值。當超過第一既定值之像素數量超過第二既定值，第三計算模組150判斷既定範圍所對應之中心像素為缺陷像素，並修正該缺陷像素並取得第二校正影像。最後，輸出模組140根據第一校正影像以及第二校正影像輸出第三校正影像。

綜上所述，根據本發明一實施例所提出之影像校正系統以及方法，使用者僅需要一簡單之計算模組(用以計算平均值對應於變異數之比值)即可調整平坦區域以及暗部區域之模糊程度，以消除亮部區域之影像串擾並保留暗部區域之影像細節。此外，由於平均值對應於變異數之比值並不易受到像素增益以及曝光之影響，故可用於判斷對應於該既定範圍之中心像素是否為缺陷像素，並提高判斷之準確率。

以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。

100‧‧‧影像校正系統

110‧‧‧影像擷取模組

120‧‧‧第一計算模組

130‧‧‧第二計算模組

140‧‧‧輸出模組

150‧‧‧第三計算模組

Claims (14)

1. 一種影像校正系統，包括：一影像擷取模組，用以取得一輸入影像以及一引導影像；一第一計算模組，用以根據一第一參數以及一第二參數取得一第一校正影像，其中上述第一計算模組更根據一比值以及上述引導函數之像素平均值取得一平滑函數，根據上述引導影像之像素平均值、上述引導影像之變異數、上述輸入影像之像素平均值以及上述平滑函數取得上述第一參數，以及根據上述第一參數、上述引導影像之上述像素平均值以及上述輸入影像之上述像素平均值取得上述第二參數；一第二計算模組，用以根據上述引導影像之上述像素平均值以及上述引導影像之上述變異數取得上述像素平均值對應於上述變異數之上述比值；以及一輸出模組，用以輸出上述第一校正影像。
2. 如申請專利範圍第1項所述之影像校正系統，其中上述第一計算模組更根據以下公式取得上述第一參數以及上述第二參數： 其中，a _k 為上述第一參數，b _k 為上述第二參數，w _k 為第K個濾波視窗，|w|為上述第k個濾波視窗中之像素數量，I _i 為引 導影像I第i個像素，p _i 為上述輸入影像p第i個像素，為上述引導影像I之上述第k個濾波視窗之像素平均值，為上述輸入影像p之之上述第k個濾波視窗之像素平均值，為上述引導影像I之上述第K個濾波視窗之變異數，f(k)為上述平滑函數。
3. 如申請專利範圍第2項所述之影像校正系統，其中上述第一計算模組更根據以下公式取得上述平滑函數： 其中，f(k)為上述平滑函數，為上述比值，為對應於 上述比值之正相關函數，為對應於上述引導影像之上述像素平均值之正相關函數，c1為一第一常數，以及c2為一第二常數。
4. 如申請專利範圍第3項所述之影像校正系統，其中上述第一計算模組更根據以下公式取得上述第一校正影像：q _i =a _k I _i +b _k 其中，q _i 為上述第一校正影像。
5. 如申請專利範圍第3項所述之影像校正系統，其中更包括一第三計算模組，用以根據一既定範圍內複數像素之間上述像素平均值以及上述變異數之上述比值之關係判斷對應於上述既定範圍之一中心像素是否為一缺陷像素。
6. 如申請專利範圍第5項所述之影像校正系統，其中上述第三計算模組更計算上述既定範圍內大於一第一既定值之像素之數量，並判斷上述數量是否超過一第二既定值，當上述數量超過上述第二既定值時，上述第三計算模組判斷上述既定像素為上述缺陷像素，以及校正上述輸入影像並輸出一第二校正影像。
7. 如申請專利範圍第6項所述之影像校正系統，其中上述輸出模組更根據上述第一校正影像以及上述第二校正影像輸出一第三校正影像。
8. 一種影像校正方法，包括：取得一輸入影像以及一引導影像；根據上述引導影像之像素平均值以及上述引導影像之變異數取得上述像素平均值對應於上述變異數之一比值；根據上述比值以及上述引導函數之上述像素平均值取得一平滑函數；根據上述引導影像之上述像素平均值、上述引導影像之上述變異數、上述輸入影像之像素平均值以及上述平滑函數取得一第一參數；根據上述第一參數、上述引導影像之上述像素平均值以及上述輸入影像之上述像素平均值取得一第二參數；以及根據上述第一參數、上述第二參數以及上述引導影像取得一第一校正影像。
9. 如申請專利範圍第8項所述之影像校正方法，其中更根據以下公式取得上述第一參數以及上述第二參數： 其中，a _k 為上述第一參數，b _k 為上述第二參數，w _k 為第K個濾波視窗，|W|為上述第k個濾波視窗中之像素數量，I _i 為引導影像I第i個像素，p _i 為上述輸入影像p第i個像素，為上述引導影像I之上述第k個濾波視窗之像素平均值，為上述輸入影像p之之上述第k個濾波視窗之像素平均值，為上述引導影像I之上述第k個濾波視窗之變異數，f(k)為上述平滑函數。
10. 如申請專利範圍第9項所述之影像校正方法，其中更根據以下公式取得上述平滑函數： 其中，f(k)為上述平滑函數，為上述比值，為對應於 上述比值之正相關函數，為對應於上述引導影像之上述 像素平均值之正相關函數，c1為一第一常數，以及c2為一第二常數。
11. 如申請專利範圍第10項所述之影像校正方法，其中更根據以下公式取得上述第一校正影像：q _i =a _K I _i +b _k 其中，q _i 為上述第一校正影像。
12. 如申請專利範圍第10項所述之影像校正方法，其中更根據一既定範圍內複數像素之間上述像素平均值以及上述變異數之上述比值之關係判斷對應於上述既定範圍之一中心像素是否為一缺陷像素。
13. 如申請專利範圍第12項所述之影像校正方法，其中更包括：計算上述既定範圍內大於一第一既定值之像素之數量；以及判斷上述數量是否超過一第二既定值；其中，當上述數量超過上述第二既定值時，判斷上述既定像素為上述缺陷像素，以及校正上述輸入影像並輸出一第二校正影像。
14. 如申請專利範圍第13項所述之影像校正方法，其中更包括：根據上述第一校正影像以及上述第二校正影像輸出一第三校正影像。