TWI461067B - 影像處理系統及方法 - Google Patents

Description

影像處理系統及方法

本發明是有關於一種影像處理，且特別是有關於一種解決色散問題的影像處理系統與方法。

光學鏡片被廣泛應用於相機，攝像機，望遠鏡，顯微鏡等。光學鏡片有多種類型，如折射鏡片，反射鏡片和折反射鏡片。折射鏡片是使用最為廣泛，其利用光的折射將物體聚焦在聚焦平面上。但折射鏡片具有色散的問題存在，亦即不同顏色的光具有不同的頻率與不同的折射率。如此將導致不同顏色的光在經過同一鏡頭後分別具有不同的光路，進而使得不同顏色的光在最後的成象中具有不同的成像比例，如此將使得影像的輪廓出現紫邊的情形。

傳統解決色散的方法之一是著重在鏡頭上，可利用某些特殊的材料來補償色散，例如螢石，但缺點是這一類型的材料十分昂貴。另一種方法則是使用複雜的光路來補償色散。此兩種方法都將花費許多成本而使高品質的鏡頭十分昂貴，且消除色散的效果對高分辨率的照片來說並不是很好。

因此，我們引入一個新的方法來解決照片色散的問題。其不須花費硬體成本，且比傳統消除鏡片色散的方法有較好的品質。

本發明提供一種影像處理系統及方法，可解決因色散所引起的影像紫邊問題。

本發明提出一種影像處理方法，包括下列步驟。依據一原始影像產生多個原始色彩通道影像。分別對上述多個原始色彩通道影像執行一特徵點辨識演算法，以分別於各原始色彩通道影像找出多個特徵點。依據上述多個特徵點求出兩兩原始色彩通道影像間的轉換矩陣。從上述多個原始色彩通道影像中選出一偏移基準色彩通道影像，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。依據偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像。合成偏移基準色彩通道影像與上述多個偏移校準色彩通道影像以得到一偏移校準影像。

在本發明之一實施例中，上述於依據多個特徵點求出兩兩原始色彩通道影像間的轉換矩陣的步驟包括：依據上述多個特徵點求出多個轉換特徵點，其中各轉換特徵點在各原始色彩通道影像皆具有與其對應的畫素，以及依據上述多個轉換特徵點求出上述多個轉換矩陣。

在本發明之一實施例中，上述從多個原始色彩通道影像中選出偏移基準色彩通道影像的步驟包括：依據上述多個轉換矩陣從上述多個原始色彩通道影像中選出偏移基準色彩通道影像。

在本發明之一實施例中，上述依據多個轉換矩陣從上述多個原始色彩通道影像中選出偏移基準色彩通道影像的步驟包括下列步驟。計算上述多個轉換矩陣的模值。計算各原始色彩通道影像做為一虛擬偏移基準色彩通道影像時，上述多個原始色彩通道影像轉換至虛擬偏移基準色彩通道影像所對應之轉換矩陣之模值。以及依據各原始色彩通道影像做為虛擬偏移基準色彩通道影像所對應之轉換矩陣之模值選擇出偏移基準色彩通道影像。

在本發明之一實施例中，上述依據各原始色彩通道影像做為虛擬偏移基準色彩通道影像時所對應之轉換矩陣之模值選擇出偏移基準色彩通道影像的步驟包括：計算各原始色彩通道影像做為虛擬偏移基準色彩通道影像所對應之轉換矩陣之模值和；以及選擇具有最小模值和的原始色彩通道影像做為偏移基準色彩通道影像。

本發明亦提出一種影像處理系統，包括一色彩通道影像產生模組、一影像特徵辨識模組、一運算模組以及一影像合成模組。其中色彩通道影像產生模組依據一原始影像產生多個原始色彩通道影像。影像特徵辨識模組分別對上述多個原始色彩通道影像執行一特徵點辨識演算法，以分別於各原始色彩通道影像找出多個特徵點。運算模組依據上述多個特徵點求出兩兩原始色彩通道影像間的轉換矩陣，並從上述多個原始色彩通道影像中選出一偏移基準色彩通道影像，且依據偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。另外，影像合成模組則合成偏移基準色彩通道影像與上述多個偏移校準色彩通道影像以得到一偏移校準影像。

在本發明之一實施例中，上述之運算模組更依據上述多個特徵點求出多個轉換特徵點，並依據此些轉換特徵點求出上述多個轉換矩陣，其中各轉換特徵點在各原始色彩通道影像皆具有與其對應的畫素。

在本發明之一實施例中，上述之運算模組更依據上述多個轉換矩陣從上述多個原始色彩通道影像中選出偏移基準色彩通道影像。

在本發明之一實施例中，上述之運算模組更計算上述多個轉換矩陣的模值，並計算各原始色彩通道影像做為一虛擬偏移基準色彩通道影像時，上述多個原始色彩通道影像轉換至虛擬偏移基準色彩通道影像所對應之上述多個轉換矩陣之模值，另外更依據各原始色彩通道影像做為虛擬偏移基準色彩通道影像時所對應之轉換矩陣之模值選擇出偏移基準色彩通道影像。

在本發明之一實施例中，上述之運算模組更計算各原始色彩通道影像做為虛擬偏移基準色彩通道影像時所對應之轉換矩陣之模值和，並選擇具有最小模值和的原始色彩通道影像做為偏移基準色彩通道影像。

在本發明之一實施例中，上述之每一轉換特徵點在不同原始色彩通道影像上所對應之畫素間的相對距離小於三個畫素。

在本發明之一實施例中，上述之特徵點辨識演算法包括尺度不變特徵轉換演算法或加速強健特徵演算法。

在本發明之一實施例中，上述之影像處理系統，更包括一銳利度選擇模組，其自上述多個偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為一去模糊基準色彩通道影像。

在本發明之一實施例中，上述之銳利度選擇模組更分別對上述多個偏移校準色彩通道影像進行一頻譜分析，並依據頻譜分析的結果選擇具有最大高頻分量的偏移校準色彩通道影像做為去模糊基準色彩通道影像。

在本發明之一實施例中，上述之運算模組更試算去模糊基準色彩通道影像與其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值，並依據各目標模糊半徑值分別對與其對應的其它偏移校準色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像。

在本發明之一實施例中，上述之影像合成模組更合成去模糊基準色彩通道影像與上述多個去模糊色彩通道影像以得到一最終校準影像。

在本發明之一實施例中，上述之運算模組更依據一預設模糊半徑值對去模糊基準色彩通道影像進行一模糊化運算，以得到多個試算色彩通道影像，並比較各試算色彩通道影像與其對應的偏移校準色彩通道影像的相似度是否達一預設標準，其中若相似度未達預設標準，則調整預設模糊半徑值，若相似度達到預設標準，則將調整後的預設模糊半徑值做為目標模糊半徑值。

在本發明之一實施例中，上述之模糊化運算為對失焦模糊函數與去模糊基準色彩通道影像進行一捲積運算，去模糊運算則為對失焦模糊函數與各偏移校準色彩通道影像進行一反捲積運算。

在本發明之一實施例中，上述之去模糊運算包括Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized運算。

本發明更提出一種影像處理方法，包括下列步驟。依據一原始影像產生多個原始色彩通道影像。分別對上述多個原始色彩通道影像執行一特徵點辨識演算法，以分別於各原始色彩通道影像找出多個特徵點。依據上述多個特徵點求出兩兩原始色彩通道影像間的轉換矩陣。從上述多個原始色彩通道影像中選出一偏移基準色彩通道影像，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。依據偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像。自上述多個偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為一去模糊基準色彩通道影像。試算去模糊基準色彩通道影像與其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值。依據各目標模糊半徑值分別對與其對應的其它偏移校準色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像。以及合成去模糊基準色彩通道影像與上述多個去模糊色彩通道影像以得到一最終校準影像。

本發明還提出一種影像處理方法，包括下列步驟。依據一原始影像產生多個原始色彩通道影像。自上述多個原始色彩通道影像中選擇出最銳利的原始色彩通道影像做為一去模糊基準色彩通道影像。試算去模糊基準色彩通道影像與其它原始色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值。依據各目標模糊半徑值分別對與其對應的其它原始色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像。分別對上述多個去模糊色彩通道影像執行一特徵點辨識演算法，以分別於各去模糊色彩通道影像找出多個特徵點。依據上述多個特徵點求出兩兩去模糊色彩通道影像間的轉換矩陣。從上述多個去模糊色彩通道影像中選出一偏移基準色彩通道影像，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。依據偏移基準色彩通道影像所對應的轉換矩陣對其它去模糊色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像。以及合成偏移基準色彩通道影像與上述多個偏移校準色彩通道影像以得到一最終校準影像。

基於上述，本發明依據不同色彩通道影像的特徵點求出色彩通道影像間的轉換矩陣，並選擇具有最小失真率的轉換矩陣來決定偏移基準色彩通道影像，依據偏移基準色彩通道影像所對應的轉換矩陣轉換其它色彩通道影像，並將轉換後的其它色彩通道影像與偏移基準色彩通道影像合成以得到校準影像。如此便可在不須額外花費硬體成本的情形下，消除色散所造成的影像紫邊問題，進而大幅地提升影像的品質。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1繪示為本發明一實施例之影像處理系統的示意圖。影像處理系統100包括一色彩通道影像產生模組102、一影像特徵辨識模組104、一銳利度選擇模組106、一運算模組108以及一影像合成模組110。其中色彩通道影像產生模組102用以依據一原始影像S1產生多個原始色彩通道影像S2。例如可將原始影像S1分為紅色通道影像、綠色通道影像和藍色通道影像。值得注意的是，依據原始影像S1所產生的原始色彩通道影像S2的個數以及顏色並不限制於上述所列舉的例子。舉例來說，亦可將原始影像S1分為青色通道影像、紫色通道影像、黃色通道影像及黑色通道影像，亦或是分為青色通道影像、紫色通道影像和黃色通道影像。

影像特徵辨識模組104用以分別對多個原始色彩通道影像S2執行一特徵點辨識演算法，以分別於各原始色彩通道影像S2找出多個特徵點(feature point)。其中特徵點辨識演算法可例如是尺度不變特徵轉換(Scale-invariant feature transform；SIFT)演算法、加速強健特徵(speeded-up robust features,SURF)演算法等特徵點比對演算方法。

接著，運算模組108便可依據影像特徵辨識模組104所找出的多個特徵點自各個原始色彩通道影像S2中找出多個轉換特徵點，以計算各個原始色彩通道影像S2之間的轉換矩陣。值得注意的是上述之轉換特徵點在各個原始色彩通道影像S2皆具有與其對應的畫素。舉例來說，假設本實施例依據原始影像S1所產生的原始色彩通道影像S2為紅色通道影像、綠色通道影像和藍色通道影像，若選擇之特徵點為紅色則僅在紅色通道影像中具有相對應的畫素。若選擇之特徵點為灰色則在紅色通道影像、綠色通道影像和藍色通道影像中皆有與其對應的畫素，而此種在各個原始色彩通道影像S2皆具有對應畫素的特徵點即為我們要尋求的轉換特徵點。其中各個轉換特徵點在不同原始色彩通道影像S2上所對應之畫素間的相對距離小於三個畫素。

在本實施例中，由於各個原始色彩通道影像S2間的轉換為二維空間的轉換，因此各個原始色彩通道影像S2間的轉換皆需要9個轉換特徵點來計算得到一3×3的轉換矩陣，其中轉換矩陣可例如為旋轉矩陣或平移矩陣等等。而在計算得到各個原始色彩通道影像S2間的轉換矩陣後，便可依據此些轉換矩陣選出一偏移基準色彩通道影像。其中由於在進行色彩通道影像轉換時，轉換前後的色彩通道影像不免會產生一些失真的現象，因此在選擇偏移基準色彩通道影像時，原則上以選擇具有最小的失真率的原始色彩通道影像S2做為偏移基準色彩通道影像。

舉例來說，假設本實施例之原始色彩通道影像S2包括紅色通道影像、綠色通道影像和藍色通道影像。當要從中選擇出偏移基準色彩通道影像時，運算模組108先分別計算紅色通道影像、綠色通道影像和藍色通道影像做為一虛擬偏移基準色彩通道影像時，與其它原始色彩通道影像S2間所對應的轉換矩陣的模值(Modulus)。例如當紅色通道影像做為虛擬偏移基準色彩通道影像時，計算綠色通道影像轉換至紅色通道影像以及藍色通道影像轉換至紅色通道影像所對應之轉換矩陣的模值。如此運算模組108便可依據各個原始色彩通道影像S2做為虛擬偏移基準色彩通道影像時所對應的轉換矩陣的模值來選擇偏移基準色彩通道影像。例如可計算各原始色彩通道影像做為虛擬偏移基準色彩通道影像時所對應的轉換矩陣的模值和，並選擇具有最小模值和的原始色彩通道影像S2來做為偏移基準色彩通道影像。

決定出偏移基準色彩通道影像後，運算模組108便可依據偏移基準色彩通道影像對應的轉換矩陣對偏移基準色彩通道影像外的其它原始色彩通道影像S2進行轉換，以得到多個偏移校準色彩通道影像S3。而影像合成模組110則負責將多個偏移校準色彩通道影像S3與偏移基準色彩通道影像進行合成，而得到一偏移校準影像。

如上所述，依據不同色彩通道影像的特徵點求出色彩通道影像間的轉換矩陣，並選擇具有最小失真率的轉換矩陣來決定偏移基準色彩通道影像，依據偏移基準色彩通道影像所對應的轉換矩陣轉換其它色彩通道影像，並將轉換後的其它色彩通道影像與偏移基準色彩通道影像合成以得到偏移校準影像。如此便可在不須額外花費硬體成本的情形下，消除色散所造成的影像紫邊問題，進而大幅地提升影像的品質，在應用於使用廣角鏡頭的攝相裝置時效果尤其顯著。

光學鏡片除了具有上述的影像偏移問題外，另外亦可能會有不同顏色的光所對應之焦距不同而造成的影像模糊問題。針對此種現象，亦可利用圖1之影像處理系統100改善。如圖1所示，銳利度選擇模組106可自色彩通道影像產生模組102所產生的多個原始色彩通道影像S1中選擇出最銳利的原始色彩通道影像S2做為一去模糊基準色彩通道影像。其中銳利度選擇模組106選擇去模糊基準色彩通道影像的方式可例如為分別對多個原始色彩通道影像S2進行頻譜分析(例如對原始色彩通道影像S2進行傅利葉轉換)，並依據頻譜分析的結果選擇具有最大高頻分量的原始色彩通道影像S2做為去模糊基準色彩通道影像。

運算模組108則試算去模糊基準色彩通道影像與其它原始色彩通道影像間之失焦模糊函數(out of focus transform function)所對應的模糊半徑值以得到多個目標模糊半徑值。舉例來說，運算模組108可先依據一預設模糊半徑值對去模糊基準色彩通道影像進行模糊化運算，以得到多個試算色彩通道影像，其中模糊化運算可例如為對失焦模糊函數與去模糊基準色彩通道影像進行一捲積運算(Convolution)。在得到多個試算色彩通道影像後，運算模組108便可比較各個試算色彩通道影像與其對應的原始色彩通道影像S2的相似度，看其是否達一預設標準。

若試算色彩通道影像與其對應的原始色彩通道影像S2的相似度未達預設標準，則調整預設模糊半徑值，以得到新的試算色彩通道影像，直到試算色彩通道影像與其對應的原始色彩通道影像S2相似度達到預設標準時，便可將調整後的預設模糊半徑值做為目標模糊半徑值。其中試算色彩通道影像與其對應的原始色彩通道影像S2的相似度可例如利用兩者的灰階值的絕對差和來判斷，當灰階值的絕對差和小於一預設值(亦即預設標準)時，判斷其相似度達到預設標準。

運算模組108依據試算所得到的各個目標模糊半徑值分別對與其對應的原始色彩通道影像S2執行一去模糊運算，以得到多個去模糊色彩通道影像S4。其中去模糊運算為對失焦模糊函數與各個原始色彩通道影像S2進行一反捲積運算(Deconvolution)，其可例如為Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized運算。另外，影像合成模組110負責將去模糊基準色彩通道影像與多個去模糊色彩通道影像S4合成以得到一模糊校準影像。

如上所述，利用試算去模糊基準色彩通道影像與其它原始色彩通道影像S2間之失焦模糊函數所對應的模糊半徑值可得到多個目標模糊半徑值，而依據各個目標模糊半徑值分別對與其對應的原始色彩通道影像S2執行去模糊運算則可得到多個去模糊色彩通道影像S4，藉由合成去模糊基準色彩通道影像與上述去模糊色彩通道影像S4即可得到一模糊校準影像，在不須額外花費硬體成本的情形下，消除色散所造成的影像模糊問題，進而大幅地提升影像的品質，在應用於使用長鏡頭的攝相裝置時效果尤其顯著。

值得注意的是，上述之影像處理系統100除了可依據不同的情形選擇對原始影像進行偏移校準或模糊校準外，亦可選擇兩種校準皆進行。舉例來說，運算模組108可依據色彩通道影像產生模組102產生多個原始色彩通道影像S2分別進行上述的偏移校準與模糊校準而得到去模糊基準色彩通道影像、多個去模糊色彩通道影像、偏移基準色彩通道影像與多個偏移校準色彩通道影像。影像合成模組110則合成去模糊基準色彩通道影像、多個去模糊色彩通道影像、偏移基準色彩通道影像與多個偏移校準色彩通道影像以得到一最終校準影像，如此便可同時達到偏移校準與模糊校準的效果。

在部分實施例中，運算模組108亦可先對原始色彩通道影像S2進行偏移校準後再進行模糊校準。在此情形下，當運算模組108對原始色彩通道影像S2進行偏移校準而得到多個偏移校準色彩通道影像後，運算模組108接著依據上述的模糊校準方式，自多個偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為去模糊基準色彩通道影像。並試算去模糊基準色彩通道影像與其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值，然後依據各目標模糊半徑值分別對與其對應的其它偏移校準色彩通道影像執行去模糊運算，以得到多個去模糊色彩通道影像S4，最後再由影像合成模組110將去模糊基準色彩通道影像與上述多個去模糊色彩通道影像S4合成為最終校準影像。

其中上述對多個偏移校準色彩通道影像進行模糊校準的方式與上述對原始色彩通道影像S2進行模糊校準的方式相同，差別在於進行模糊校準的對象由原始色彩通道影像S2換為偏移校準色彩通道影像，本領域具通常知識者應可依據上述實施例之教示推得其實施方式，因此不再贅述。

類似地，運算模組108亦可反過來先對原始色彩通道影像S2先進行模糊校準後再進行偏移校準。在此情形下，當運算模組108對原始色彩通道影像S2進行模糊校準而得到多個去模糊色彩通道影像S4後，運算模組108接著依據上述的偏移校準方式，分別對多個去模糊色彩通道影像S4執行特徵點辨識演算法，以求出兩兩去模糊色彩通道影像S4間的轉換矩陣，並從中選出一偏移基準色彩通道影像，以依據偏移基準色彩通道影像所對應的轉換矩陣對其它去模糊色彩通道影像S4進行轉換而得到多個偏移校準色彩通道影像，最後再由影像合成模組110將偏移基準色彩通道影像與上述多個偏移校準色彩通道影像合成為最終校準影像。

其中上述對多個去模糊色彩通道影像進行偏移校準的方式與上述對原始色彩通道影像S2進行偏移校準的方式相同，差別在於進行偏移校準的對象由原始色彩通道影像S2換為去模糊色彩通道影像，本領域具通常知識者應可依據上述實施例之教示推得其實施方式，因此不再贅述。

圖2繪示為本發明一實施例之影像處理方法的流程圖。請參照圖2，歸納上述影像處理系統100的進行影像偏移校準的方法可包括下列步驟。首先，依據一原始影像產生多個原始色彩通道影像(步驟S202)。接著，分別對上述多個原始色彩通道影像執行一特徵點辨識演算法，以分別於各原始色彩通道影像找出多個特徵點(步驟S204)。其中特徵點辨識演算法可例如為尺度不變特徵轉換演算法或加速強健特徵演算法。

之後，依據上述多個特徵點求出兩兩原始色彩通道影像間的轉換矩陣(步驟S206)，然後從多個原始色彩通道影像中選出一偏移基準色彩通道影像(步驟S208)，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。然後再依據偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像(步驟S210)。偏移基準色彩通道影像可依據原始色彩通道影像間的轉換矩陣的模值來選擇，例如選擇具有最小模值和的原始色彩通道影像做為偏移基準色彩通道影像。最後再合成偏移基準色彩通道影像與上述多個偏移校準色彩通道影像以得到偏移校準影像(步驟S212)。如此便可在不額外花費硬體成本的情形下，消除色散所造成的影像紫邊問題，進而大幅地提升影像的品質。

圖3繪示為本發明另一實施例之影像處理方法的流程圖。請參照圖3，歸納上述影像處理系統100的進行影像模糊校準的方法可包括下列步驟。首先，依據一原始影像產生多個原始色彩通道影像(步驟S302)。接著，自多個原始色彩通道影像中選擇出最銳利的原始色彩通道影像做為一去模糊基準色彩通道影像(步驟S304)。其中選擇最銳利的原始色彩通道影像的方式可例如為分別對多個原始色彩通道影像進行頻譜分析，以選擇具有最大高頻分量的原始色彩通道影像做為去模糊基準色彩通道影像。

之後，試算去模糊基準色彩通道影像與其它原始色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值(步驟S306)。例如可依據一預設模糊半徑值對去模糊基準色彩通道影像進行模糊化運算，以得到多個試算色彩通道影像，並比較各試算色彩通道影像與其對應的原始色彩通道影像的相似度是否達到預設標準，若相似度未達預設標準，則調整預設模糊半徑值直到相似度達到預設標準，並將達到預設標準時所對應的模糊半徑值做為目標模糊半徑值。

然後，依據各個目標模糊半徑值分別對與其對應的原始色彩通道影像執行去模糊運算，以得到多個去模糊色彩通道影像(步驟S308)。其中去模糊運算為對失焦模糊函數與去模糊基準色彩通道影像進行一反捲積運算，其可例如為Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized運算。最後，合成去模糊基準色彩通道影像與上述多個去模糊色彩通道影像以得到一模糊校準影像(步驟S310)。如此便可在不額外花費硬體成本的情形下，消除色散所造成的影像模糊問題，進而大幅地提升影像的品質。

另外，上述影像處理系統100選擇偏移校準以及模糊校準兩種影像校準皆進行的方法可如圖4~圖6所示。圖4繪示為本發明另一實施例之影像處理方法的流程圖。請同時參照圖2~圖4，首先，依據一原始影像產生多個原始色彩通道影像(步驟S402)。接著，同時分別進行影像偏移校準與影像模糊校準而分別得到多個偏移校準色彩通道影像與多個去模糊色彩通道影像。其中影像偏移校準的步驟S404A~S410A與圖2實施例所揭露之步驟S204~S210相同，而影像模糊校準的步驟S404B~S408B與圖3實施例所揭露之步驟S304~S308相同，因此不再贅述。而在最後的步驟S412中，將去模糊基準色彩通道影像、多個去模糊色彩通道影像、偏移基準色彩通道影像與多個偏移校準色彩通道影像合成以得到一最終校準影像，如此便可同時達到偏移校準與模糊校準的效果。

圖5繪示為本發明另一實施例之影像處理方法的流程圖。請參照圖5，在本實施例中進行影像校準的方式為先進行偏移校準，然後再進行模糊校準。因此，本實施例之步驟S502~S510與圖2之步驟S202~S210相同，在此不再贅述。而在步驟S510中獲得多個偏移校準色彩通道影像後，便接著依據多個偏移校準色彩通道影像進行如圖3的影像模糊校準方法。如步驟S512所示，自多個偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為去模糊基準色彩通道影像，其中選擇最銳利的偏移校準色彩通道影像的方式可例如為分別對多個偏移校準色彩通道影像進行頻譜分析，以選擇具有最大高頻分量的偏移校準色彩通道影像做為去模糊基準色彩通道影像。

之後，試算去模糊基準色彩通道影像與其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值(步驟S514)。例如可依據一預設模糊半徑值對去模糊基準色彩通道影像進行模糊化運算，以得到多個試算色彩通道影像，並比較各試算色彩通道影像與其對應的偏移校準色彩通道影像的相似度是否達到預設標準，若相似度未達預設標準，則調整預設模糊半徑值直到相似度達到預設標準，並將達到預設標準時所對應的模糊半徑值做為目標模糊半徑值。

然後，依據各個目標模糊半徑值分別對與其對應的偏移校準色彩通道影像執行去模糊運算，以得到多個去模糊色彩通道影像(步驟S516)。其中去模糊運算為對失焦模糊函數與去模糊基準色彩通道影像進行一反捲積運算，其可例如為Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized運算。最後，合成去模糊基準色彩通道影像與上述多個去模糊色彩通道影像以得到一最終校準影像(步驟S518)。如上所述，透過先進行偏移校準在進行模糊校準的方式亦可對原始影像進行兩種影像校準，而克服色散所造成的影像模糊及影像偏移的問題，進而大幅地提升影像的品質。

類似地，另一種處理色散問題的方式亦可為先進行模糊校準，然後再進行偏移校準。圖6繪示為本發明另一實施例之影像處理方法的流程圖。請參照圖6，本實施例之步驟S602~S608與圖3之步驟S302~S308相同，因此不再贅述。而在步驟S608中獲得多個去模糊色彩通道影像後，便接著依據多個去模糊色彩通道影像進行如圖2的影像偏移校準方法。如步驟S610所示，分別對多個去模糊色彩通道影像執行一特徵點辨識演算法，以分別於各去模糊色彩通道影像找出多個特徵點，其中特徵點辨識演算法可例如為尺度不變特徵轉換演算法或加速強健特徵演算法。接著，依據上述多個特徵點求出兩兩去模糊色彩通道影像間的轉換矩陣(步驟S612)，再從多個去模糊色彩通道影像中選出一偏移基準色彩通道影像(步驟S614)，其中偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率。

接著，依據偏移基準色彩通道影像所對應的轉換矩陣對其它去模糊色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像(步驟S616)。偏移基準色彩通道影像可依據去模糊色彩通道影像間的轉換矩陣的模值來選擇，例如選擇具有最小模值和的去模糊色彩通道影像做為偏移基準色彩通道影像。最後再合成偏移基準色彩通道影像與上述多個偏移校準色彩通道影像以得到一最終校準影像(步驟S618)。如此亦可對原始影像進行兩種影像校準，而克服色散所造成的影像模糊及影像偏移的問題，進而大幅地提升影像的品質。

綜上所述，本發明利用選擇具有最小失真率的轉換矩陣來決定偏移基準色彩通道影像，並據以轉換其它色彩通道影像，以得到偏移校準影像。另外並藉由試算去模糊基準色彩通道影像與其它原始色彩通道影像間之失焦模糊函數所對應的模糊半徑值，以得到多個目標模糊半徑值，而據以得到多個去模糊色彩通道影像，進而求出模糊校準影像。如此便可在不須額外花費硬體成本的情形下，消除色散所造成的影像紫邊以及失焦的問題，不但可大幅地提升影像的品質，還可依據實際應用情形選擇其中一種或同時使用兩種校準方式進行影像校準，使影像處理更有效率及彈性。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧影像處理系統

102‧‧‧色彩通道影像產生模組

104‧‧‧影像特徵辨識模組

106‧‧‧銳利度選擇模組

108‧‧‧運算模組

110‧‧‧影像合成模組

S1‧‧‧原始影像

S2‧‧‧原始色彩通道影像

S3‧‧‧偏移校準色彩通道影像

S4‧‧‧去模糊色彩通道影像

S202~S212、S302~S310、S402~S412、S502~S518、S602~S618‧‧‧影像處理的方法步驟

圖1繪示為本發明一實施例之影像處理系統的示意圖。

圖2~圖6繪示為本發明實施例之影像處理方法的流程圖。

S202~S212．．．影像處理的方法步驟

Claims (46)

1. 一種影像處理方法，包括：依據一原始影像產生多個原始色彩通道影像；分別對該些原始色彩通道影像執行一特徵點辨識演算法，以分別於各該原始色彩通道影像找出多個特徵點；依據該些特徵點求出兩兩該些原始色彩通道影像間的轉換矩陣；從該些原始色彩通道影像中選出一偏移基準色彩通道影像，其中該偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率；依據該偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像；以及合成該偏移基準色彩通道影像與該些偏移校準色彩通道影像以得到一偏移校準影像。
2. 如申請專利範圍第1項所述之影像處理方法，其中於依據該些特徵點求出兩兩該些原始色彩通道影像間的轉換矩陣的步驟包括：依據該些特徵點求出多個轉換特徵點，其中各該轉換特徵點在各該原始色彩通道影像皆具有與其對應的畫素；以及依據該些轉換特徵點求出該些轉換矩陣。
3. 如申請專利範圍第2項所述之影像處理方法，其中每一該些轉換特徵點在不同原始色彩通道影像上所對應之 畫素間的相對距離小於三個畫素。
4. 如申請專利範圍第1項所述之影像處理方法，其中從該些原始色彩通道影像中選出該偏移基準色彩通道影像的步驟包括依據該些轉換矩陣從該些原始色彩通道影像中選出該偏移基準色彩通道影像。
5. 如申請專利範圍第4項所述之影像處理方法，其中依據該些轉換矩陣從該些原始色彩通道影像中選出該偏移基準色彩通道影像的步驟包括：計算該些轉換矩陣的模值；計算各該原始色彩通道影像做為一虛擬偏移基準色彩通道影像時，該些原始色彩通道影像轉換至該虛擬偏移基準色彩通道影像所對應之該些轉換矩陣之模值；以及依據各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像。
6. 如申請專利範圍第5項所述之影像處理方法，其中依據各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像的步驟包括：計算各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值和；以及選擇具有最小模值和的原始色彩通道影像做為該偏移基準色彩通道影像。
7. 如申請專利範圍第1項所述之影像處理方法，其中 該特徵點辨識演算法包括尺度不變特徵轉換演算法或加速強健特徵演算法。
8. 一種影像處理系統，應用於一攝像裝置，包括：一色彩通道影像產生模組，依據一原始影像產生多個原始色彩通道影像；一影像特徵辨識模組，分別對該些原始色彩通道影像執行一特徵點辨識演算法，以分別於各該原始色彩通道影像找出多個特徵點；一運算模組，依據該些特徵點求出兩兩該些原始色彩通道影像間的轉換矩陣，並從該些原始色彩通道影像中選出一偏移基準色彩通道影像，且依據該偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像，其中該偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率；以及一影像合成模組，合成該偏移基準色彩通道影像與該些偏移校準色彩通道影像以得到一偏移校準影像。
9. 如申請專利範圍第8項所述之影像處理系統，其中該攝像裝置包含相機、攝像機、望遠鏡或顯微鏡。
10. 如申請專利範圍第8項所述之影像處理系統，其中該運算模組更依據該些特徵點求出多個轉換特徵點，並依據該些轉換特徵點求出該些轉換矩陣，其中各該轉換特徵點在各該原始色彩通道影像皆具有與其對應的畫素。
11. 如申請專利範圍第10項所述之影像處理系統，其 中每一該些轉換特徵點在不同原始色彩通道影像上所對應之畫素間的相對距離小於三個畫素。
12. 如申請專利範圍第11項所述之影像處理系統，其中該運算模組更依據該些轉換矩陣從該些原始色彩通道影像中選出該偏移基準色彩通道影像。
13. 如申請專利範圍第12項所述之影像處理系統，其中該運算模組更計算該些轉換矩陣的模值，並計算各該原始色彩通道影像做為一虛擬偏移基準色彩通道影像時，該些原始色彩通道影像轉換至該虛擬偏移基準色彩通道影像所對應之該些轉換矩陣之模值，另外更依據各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像。
14. 如申請專利範圍第13項所述之影像處理系統，其中該運算模組更計算各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值和，並選擇具有最小模值和的原始色彩通道影像做為該偏移基準色彩通道影像。
15. 如申請專利範圍第9項所述之影像處理系統，其中該特徵點辨識演算法包括尺度不變特徵轉換演算法或加速強健特徵演算法。
16. 如申請專利範圍第9項所述之影像處理系統，更包括：一銳利度選擇模組，自該些偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為一去模糊基準 色彩通道影像。
17. 如申請專利範圍第16項所述之影像處理系統，其中該銳利度選擇模組更分別對該些偏移校準色彩通道影像進行一頻譜分析，並依據該頻譜分析的結果選擇具有最大高頻分量的偏移校準色彩通道影像做為該去模糊基準色彩通道影像。
18. 如申請專利範圍第16項所述之影像處理系統，其中該運算模組更試算該去模糊基準色彩通道影像與該些其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值，並依據各該目標模糊半徑值分別對與其對應的該些其它偏移校準色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像。
19. 如申請專利範圍第18項所述之影像處理系統，其中該影像合成模組更合成該去模糊基準色彩通道影像與該些去模糊色彩通道影像以得到一最終校準影像。
20. 如申請專利範圍第18項所述之影像處理系統，其中該運算模組更依據一預設模糊半徑值對該去模糊基準色彩通道影像進行一模糊化運算，以得到多個試算色彩通道影像，並比較各該試算色彩通道影像與其對應的偏移校準色彩通道影像的相似度是否達一預設標準，其中若該相似度未達該預設標準，則調整該預設模糊半徑值，若該相似度達到該預設標準，則將調整後的該預設模糊半徑值做為該目標模糊半徑值。
21. 如申請專利範圍第20項所述之影像處理系統，其 中該模糊化運算為對該失焦模糊函數與該去模糊基準色彩通道影像進行一捲積運算，該去模糊運算為對該失焦模糊函數與各該偏移校準色彩通道影像進行一反捲積運算。
22. 如申請專利範圍第18項所述之影像處理系統，其中該去模糊運算包括Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized濾波器(Regularized filter)運算。
23. 一種影像處理方法，包括：依據一原始影像產生多個原始色彩通道影像；分別對該些原始色彩通道影像執行一特徵點辨識演算法，以分別於各該原始色彩通道影像找出多個特徵點；依據該些特徵點求出兩兩該些原始色彩通道影像間的轉換矩陣；從該些原始色彩通道影像中選出一偏移基準色彩通道影像，其中該偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率；依據該偏移基準色彩通道影像所對應的轉換矩陣對其它原始色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像；自該些偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為一去模糊基準色彩通道影像；試算該去模糊基準色彩通道影像與該些其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值； 依據各該目標模糊半徑值分別對與其對應的該些其它偏移校準色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像；以及合成該去模糊基準色彩通道影像與該些去模糊色彩通道影像以得到一最終校準影像。
24. 如申請專利範圍第23項所述之影像處理方法，其中於依據該些特徵點求出兩兩該些原始色彩通道影像間的轉換矩陣的步驟包括：依據該些特徵點求出多個轉換特徵點，其中各該轉換特徵點在各該原始色彩通道影像皆具有與其對應的畫素；以及依據該些轉換特徵點求出該些轉換矩陣。
25. 如申請專利範圍第24項所述之影像處理方法，其中每一該些轉換特徵點在不同原始色彩通道影像上所對應之畫素間的相對距離小於三個畫素。
26. 如申請專利範圍第23項所述之影像處理方法，其中從該些原始色彩通道影像中選出該偏移基準色彩通道影像的步驟包括依據該些轉換矩陣從該些原始色彩通道影像中選出該偏移基準色彩通道影像。
27. 如申請專利範圍第26項所述之影像處理方法，其中依據該些轉換矩陣從該些原始色彩通道影像中選出該偏移基準色彩通道影像的步驟包括：計算該些轉換矩陣的模值；計算各該原始色彩通道影像做為一虛擬偏移基準色 彩通道影像時，該些原始色彩通道影像轉換至該虛擬偏移基準色彩通道影像所對應之該些轉換矩陣之模值；以及依據各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像。
28. 如申請專利範圍第27項所述之影像處理方法，其中依據各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像的步驟包括：計算各該原始色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值和；以及選擇具有最小模值和的原始色彩通道影像做為該偏移基準色彩通道影像。
29. 如申請專利範圍第23項所述之影像處理方法，其中該特徵點辨識演算法包括尺度不變特徵轉換演算法或加速強健特徵演算法。
30. 如申請專利範圍第23項所述之影像處理方法，更包括：自該些偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為一去模糊基準色彩通道影像。
31. 如申請專利範圍第29項所述之影像處理方法，其中自該些偏移校準色彩通道影像中選擇出最銳利的偏移校準色彩通道影像做為該去模糊基準色彩通道影像的步驟包括： 分別對該些偏移校準色彩通道影像進行一頻譜分析；以及依據該頻譜分析的結果選擇具有最大高頻分量的偏移校準色彩通道影像做為該去模糊基準色彩通道影像。
32. 如申請專利範圍第23項所述之影像處理方法，更包括：試算該去模糊基準色彩通道影像與該些其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值，以得到多個目標模糊半徑值；以及依據各該目標模糊半徑值分別對與其對應的該些其它偏移校準色彩通道影像執行一去模糊運算以得到多個去模糊色彩通道影像。
33. 如申請專利範圍第32項所述之影像處理方法，其中試算該去模糊基準色彩通道影像與該些其它偏移校準色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到該些目標模糊半徑值的步驟包括：依據一預設模糊半徑值對該去模糊基準色彩通道影像進行一模糊化運算，以得到多個試算色彩通道影像；比較各該試算色彩通道影像與其對應的偏移校準色彩通道影像的相似度是否達一預設標準；若該相似度未達該預設標準，則調整該預設模糊半徑值；以及若該相似度達到該預設標準，則將調整後的該預設模糊半徑值做為該目標模糊半徑值。
34. 如申請專利範圍第33項所述之影像處理方法，其中該模糊化運算為對該失焦模糊函數與該去模糊基準色彩通道影像進行一捲積運算，該去模糊運算為對該失焦模糊函數與各該偏移校準色彩通道影像進行一反捲積運算。
35. 如申請專利範圍第23項所述之影像處理方法，其中該去模糊運算包括Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized濾波器(Regularized filter)運算。
36. 一種影像處理方法，包括：依據一原始影像產生多個原始色彩通道影像；自該些原始色彩通道影像中選擇出最銳利的原始色彩通道影像做為一去模糊基準色彩通道影像；試算該去模糊基準色彩通道影像與該些其它原始色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到多個目標模糊半徑值；依據各該目標模糊半徑值分別對與其對應的該些其它原始色彩通道影像執行一去模糊運算，以得到多個去模糊色彩通道影像；分別對該些去模糊色彩通道影像執行一特徵點辨識演算法，以分別於各該去模糊色彩通道影像找出多個特徵點；依據該些特徵點求出兩兩該些去模糊色彩通道影像間的轉換矩陣；從該些去模糊色彩通道影像中選出一偏移基準色彩 通道影像，其中該偏移基準色彩通道影像所對應的原始色彩通道影像具有最小的失真率；依據該偏移基準色彩通道影像所對應的轉換矩陣對其它去模糊色彩通道影像進行轉換，以得到多個偏移校準色彩通道影像；以及合成該偏移基準色彩通道影像與該些偏移校準色彩通道影像以得到一最終校準影像。
37. 如申請專利範圍第36項所述之影像處理方法，其中自該些原始色彩通道影像中選擇出最銳利的原始色彩通道影像做為該去模糊基準色彩通道影像的步驟包括：分別對該些原始色彩通道影像進行一頻譜分析；以及依據該頻譜分析的結果選擇具有最大高頻分量的原始色彩通道影像做為該去模糊基準色彩通道影像。
38. 如申請專利範圍第36項所述之影像處理方法，其中試算該去模糊基準色彩通道影像與該些其它原始色彩通道影像間之失焦模糊函數所對應的模糊半徑值以得到該些目標模糊半徑值的步驟包括：依據一預設模糊半徑值對該去模糊基準色彩通道影像進行一模糊化運算，以得到多個試算色彩通道影像；比較各該試算色彩通道影像與其對應的原始色彩通道影像的相似度是否達一預設標準；若該相似度未達該預設標準，調整該預設模糊半徑值；以及若該相似度達到該預設標準，則將調整後的該預設模 糊半徑值做為該目標模糊半徑值。
39. 如申請專利範圍第38項所述之影像處理方法，其中該模糊化運算為對該失焦模糊函數與該去模糊基準色彩通道影像進行一捲積運算，該去模糊運算為對該失焦模糊函數與各該原始色彩通道影像進行一反捲積運算。
40. 如申請專利範圍第36項所述之影像處理方法，其中該去模糊運算包括Wiener濾波器反捲積運算、Lucy-Richardson運算或Regularized濾波器(Regularized filter)運算。
41. 如申請專利範圍第36項所述之影像處理方法，其中於依據該些特徵點求出兩兩該些去模糊色彩通道影像間的轉換矩陣的步驟包括：依據該些特徵點求出多個轉換特徵點，其中各該轉換特徵點在各該去模糊色彩通道影像皆具有與其對應的畫素；以及依據該些轉換特徵點求出該些轉換矩陣。
42. 如申請專利範圍第41項所述之影像處理方法，其中每一該些轉換特徵點在不同去模糊色彩通道影像上所對應之畫素間的相對距離小於三個畫素。
43. 如申請專利範圍第36項所述之影像處理方法，其中從該些去模糊色彩通道影像中選出該偏移基準色彩通道影像的步驟包括依據該些轉換矩陣從該些去模糊色彩通道影像中選出該偏移基準色彩通道影像。
44. 如申請專利範圍第43項所述之影像處理方法，其 中依據該些轉換矩陣從該些去模糊色彩通道影像中選出該偏移基準色彩通道影像的步驟包括：計算該些轉換矩陣的模值；計算各該去模糊色彩通道影像做為一虛擬偏移基準色彩通道影像時，該些去模糊色彩通道影像轉換至該虛擬偏移基準色彩通道影像所對應之該些轉換矩陣之模值；以及依據各該去模糊色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像。
45. 如申請專利範圍第44項所述之影像處理方法，其中依據各該去模糊色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值選擇出該偏移基準色彩通道影像的步驟包括：計算各該去模糊色彩通道影像做為該虛擬偏移基準色彩通道影像時所對應之該些轉換矩陣之模值和；以及選擇具有最小模值和的去模糊色彩通道影像做為該偏移基準色彩通道影像。
46. 如申請專利範圍第36項所述之影像處理方法，其中該特徵點辨識演算法包括尺度不變特徵轉換演算法或加速強健特徵演算法。