TWI480811B

TWI480811B - 用於影像校正的影像處理方法及影像處理裝置

Info

Publication number: TWI480811B
Application number: TW102100725A
Authority: TW
Inventors: Pin Ching Su; Hwann Tzong Chen; Ming Feng Chiang
Original assignee: Novatek Microelectronics Corp; Univ Tsing Hua
Priority date: 2013-01-09
Filing date: 2013-01-09
Publication date: 2015-04-11
Also published as: TW201428643A; US9111344B2; US20140193098A1

Description

用於影像校正的影像處理方法及影像處理裝置

本發明係指一種用於影像校正的影像處理方法及相關的影像處理裝置，尤指一種能夠校正連續拍攝之影像的影像處理方法及相關的影像處理裝置。

資訊通訊系統高度發展的現代化資訊社會中，電子裝置被廣泛地應用於各個領域中，比方說便利而輕巧的手持裝置(包括數位相機、PDA、手機等)被廣泛的運用於日常生活中，而目前手持裝置上的功能已越來越多樣化，PDA或手機上有內建數位相機的情形相當常見。由於數位相機於單次拍攝時所擷取影像資訊的亮度範圍有限，因此當數位相機在拍攝亮度範圍過大的影像時，往往會造成影像中部份區域曝光不足或是部份區域曝光過度。

在習知技術中，高動態範圍(High Dynamic Range，HDR)影像技術可用來解決此類問題。高動態範圍影像技術係藉由連續拍攝多張不同亮度範圍之影像，再透過適當的參數合成不同亮度範圍之影像，從而產生高品質的影像。然而，若數位相機於連續拍攝多張不同亮度範圍之影像的過程中沒有使用腳架，於不同時間取得之不同亮度範圍之影像間會存在著些微的位移或是晃動。在此情況下，合成得出的影像中細節會變得模糊，進而降低影像品質。因此，於合成連續拍攝之多張影像前，必須進行影像校正，以對齊不同亮度範圍之影像。

在習知技術中，最常用於校正連續拍攝影像間位移的校正方法為尺度不變特徵轉換(Scale-invariant feature transform，SIFT)。請參考第1圖，第1圖為尺度不變特徵轉換的示意圖。尺度不變特徵轉換的基礎概念係在不同高斯模糊(Gaussian Blur)程度下找尋局部影像中具有高斯差異(Difference of Gaussian)最大值的特徵像素。當特徵像素不僅在其本身所在之層(Octave)具有高斯差異最大值，且於其上下兩層亦為高斯差異最大值，此特徵像素即具有足夠的代表性。藉由比對不同亮度範圍之影像間具有足夠代表性之特徵像素，即可正確地合成影像。雖然尺度不變特徵轉換的準確性相當地高，但建立具有多層高斯模糊以尋找特徵像素的步驟非常耗時。由上述可知，習知技術實有改進之必要。

因此，本發明提供一種能夠高效率尋找影像中具有足夠代表性之特徵像素，以校正具有連續拍攝的影像間位移的方法及相關的影像處理裝置。

本發明揭露一種校正影像的影像處理方法。該影像處理方法包含有依序接收複數個影像；根據該複數個影像中每一影像之複數個亮度特徵，產生對應於每一影像之至少一閥值；根據該每一影像之該至少一閥值，轉換該每一影像，以產生複數個二位元影像；根據該複數個二位元影像，尋找每一二位元影像之複數個特徵像素；以及根據該每一二位元影像之該複數個特徵像素，校正該複數個影像。

本發明另揭露一種校正影像的影像處理裝置。該影像處理裝置包含有一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行以下步驟：依序接收複數個影像；根據該複數個影像中每一影像之複數個亮度特徵，產生對應於每一影像之至少一閥值；根據該每一影像之該至少一閥值，轉換該每一影像，以產生複數個二位元影像；根據該複數個二位元影像，尋找每一二位元影像之複數個特徵像素；以及根據該每一二位元影像之該複數個特徵像素，校正該複數個影像。

在以下所列舉的範例實施例中，本發明揭露之用來校正影像的影像處理方法及相關的影像處理裝置透過將欲校正之影像轉換至二元空間(binary space)，以簡化找尋各影像中特徵像素位置之運算過程。藉由取得各影像中具有相同影像特徵之特徵像素的相對位置，本發明揭露之影像處理方法及相關的影像處理裝置可有效率地且準確地校正影像。為更清楚地瞭解本發明，以下將配合圖式，以至少一範例實施例來作詳細說明。此外，以下實施例中所提到的連接用語，例如：耦接或連接等，僅是參考附加圖式用以例示說明，並非用來限制實際上兩個元件之間的連接關係是直接耦接或間接耦接。換言之，於一些實施例中，兩個元件之間為直接耦接。於另外一些實施例中，兩個元件之間為間接耦接。

請參考第2圖，第2圖為本發明實施例一影像處理裝置20的示意圖。影像處理裝置20可用於一多媒體影像系統，但不限於此。影像處理裝置20包含一處理單元200以及一儲存單元210。處理單元200可為一微處理器或一特定應用積體電路(application-specific integrated circuit，ASIC)。儲存單元210可為任一可被處理單元200存取的資料儲存單元，用以儲存一程式碼214，而處理單元200可讀取及執行程式碼114。舉例來說，儲存單元210可為唯讀式記憶體(read-only memory，ROM)、快閃式記憶體(flash memory)、隨機存取記憶體(random-access memory，RAM)、光碟唯讀記憶體(CD-ROM/DVD-ROM)、磁帶(magnetic tape)、硬碟(hard disk)及光學資料儲存單元(optical data storage device)等，而不限於此。

請參考第3圖，第3圖為本發明實施例一影像處理方法30的流程圖。影像處理方法30可用來校正影像IMG_1~IMG_n，其可被編譯為第2圖所示的程式碼214，且包含以下步驟：步驟300：開始。

步驟302：依序接收影像IMG_1~IMG_n。

步驟304：根據每一影像之複數個亮度特徵，產生分別對應於影像IMG_1~IMG_n之閥值TH_1~TH_n。

步驟306：根據閥值TH_1~TH_n，轉換影像IMG_1~IMG_n，以產生二位元影像BIMG_1~BIMG_n。

步驟308：根據二位元影像BIMG_1~BIMG_n，尋找特徵像素。

步驟310：根據每一二位元影像之特徵像素，校正影像IMG_1~IMG_n。

步驟312：結束。

根據影像處理方法30，影像處理裝置20可藉由將連續取得的影像IMG_1~IMG_n映射至二元空間，簡化找尋影像IMG_1~IMG_n間相對應特徵像素的運算，從而有效率地對齊並校正影像IMG_1~IMG_n。

關於影像處理方法30舉例說明如下。影像處理裝置20於依序接收影像IMG_1~IMG_n後，分別根據影像IMG_1~IMG_n中每一像素的亮度特徵(Intensity)，產生閥值TH_1~TH_n。值得注意的是，影像IMG_1~IMG_n係為連續拍攝所得影像。並且，影像IMG_1~IMG_n可包含相異之亮度範圍，但不限於此。舉例來說，影像IMG_1~IMG_n可為針對相同場景連續取得之影像。更甚者，影像IMG_1~IMG_n可為針對相同場景，利用不同曝光值連續取得之影像。在此實施例中，閥值TH1係為影像IMG_1所有像素亮度特徵之中位數(Median)，而閥值TH2亦為影像IMG_2所有像素亮度特徵之中位數，其餘以此類推(步驟302、304)。根據閥值TH_1~TH_n，影像處理裝置20可轉換影像IMG_1~IMG_n中像素，以產生分別對應於影像IMG_1~IMG_n的二位元影像BIMG_1~ BIMG_n。譬如說，當影像IMG_1中一像素之亮度特徵大於等於閥值TH1時，影像處理裝置20可將二位元影像BIMG_1中對應於此像素之位置設為〝1〞；而當影像IMG_1中一像素之亮度特徵小於閥值TH1時，影像處理裝置20可將二位元影像BIMG_1中對應於此像素之位置設為〝0〞。影像處理裝置20將影像IMG_1轉換為二位元影像BIMG_1之公式可表示為：

換言之，二位元影像BIMG_1係為影像IMG_1映射至二元空間(binary space)之影像。根據類似於公式(1)之公式，影像處理裝置20可將影像IMG_2~IMG_n分別轉換為二位元影像BIMG_2~BIMG_n(步驟306)。值得注意的是，由於閥值TH_1~TH_n係為影像IMG_1~IMG_n中像素亮度特徵之中位數，因此即使影像IMG_1~IMG_n包含相異之亮度範圍，二位元影像BIMG_1~BIMG_n間仍會呈現高相似程度。

接下來，影像處理裝置20會尋找二位元影像BIMG_1~BIMG_n中具有代表性之特徵像素，以對齊並校正影像IMG_1~IMG_n。在此實施例中，影像處理裝置20首先針對二位元影像BIMG_1~BIMG_n中每一像素，劃分相對應之像素區域，然後根據每一像素區域之梯度變化程度，判斷相對應之像素是否為具有代表性之特徵像素。其中，像素區域可為一尺寸為K x K之區塊，但不限於此。當一像素區域之梯度變化程度超越一特定值時，影像處理裝置20 判斷對應於此像素區域之像素為特徵像素；反之，則影像處理裝置20判斷對應於此像素區域之像素不具有代表性。

舉例來說，請參考第4圖，第4圖為本發明實施例一像素區域40的示意圖。如第4圖所示，像素區域40係為一對應於一像素P的5x5區塊，其包含有像素P以及像素P_1~P_24。影像處理裝置20首先計算像素P_1之像素值與像素P_2之像素值間差值的絕對值，以取得像素區域40於像素P_1的X方向的梯度變化GX_1(GX _1=abs (P _1-P _2))。當像素P_1異於像素P_2時，梯度變化GX_1為〝1〞；反之，梯度變化GX_1為〝0〞。然後，影像處理裝置20計算像素P_2之像素值與像素P_3之像素值間差值的絕對值，以取得像素區域40於像素P_2的X方向的梯度變化GX_2(GX _2=abs (P _2-P _3))，以此類推。如此一來，影像處理裝置20即可取得像素區域40中X方向的梯度變化GX_1~GX_25。相似地，影像處理裝置20透過計算像素P_1之像素值與像素P_6之像素值間差值的絕對值，取得像素區域40於像素P_1的Y方向的梯度變化GY_1(GY _1=abs (P _1-P _6))。當像素P_1異於像素P_6時，梯度變化GY_1為〝1〞；反之，梯度變化GY_1為〝0〞。接下來，影像處理裝置20計算像素P_2之像素值與像素P_7之像素值間差值的絕對值，以取得像素區域40於像素P_7的Y方向的梯度變化GY_2(GY _2=abs (P _2-P _7))，以此類推。如此一來，影像處理裝置20即可取得像素區域40中Y方向的梯度變化GY_1~GY_25。於取得像素區域40中梯度變化GX_1~GX_25、GY_1~GY_25後，影像處理裝置20透過計算梯度變化GX_1~GX_25、GY_1~GY_25中〝1〞的個數，取得像素區域40之一像素區域差異。換言之，像素區域差異係與像素區域40中各像素與其相鄰像素的相異程度成正比。當像素區域差異超過一特徵閥值時，代表像素區域40具有高度的獨特性，因此，影像處理裝置20判斷像素P為特徵像素。透過重複以上步驟，影像處理裝置20可取得二位元影像BIMG_1~BIMG_n中具有代表性之特徵像素的位置以及像素區域(步驟308)。值得注意的是，特徵像素之像素區域具有高度的獨特性，亦即特徵像素之像素區域具有高度的可辨識性。因此，特徵像素之像素區域可用於代表特徵像素。此外，由於二位元影像BIMG_1~BIMG_n係位於二元空間，影像處理裝置20可採用簡單快速之比對演算法來比對特徵像素。

由於二位元影像BIMG_1~BIMG_n間具有高度相似性，因此二位元影像BIMG_1~BIMG_n中應包含有具有相同像素區域之特徵像素。並且，基於每一特徵像素的像素區域具有高度的獨特性，若特徵像素具有相同的像素區域則代表此些特徵像素對應於相同之影像特徵。因此，透過比對二位元影像BIMG_1~BIMG_n間特徵像素的像素區域，影像處理裝置20可取得二位元影像BIMG_1~BIMG_n中具有相同像素區域之特徵像素的相對位置(即二位元影像BIMG_1~BIMG_n中對應於相同影像特徵之像素的相對位置)。在此實施例中，由於二位元影像BIMG_1~BIMG_n已映射至二元空間，影像處理裝置20可採用最簡單的漢明距離(Hamming distance)來取得二位元影像BIMG_1~BIMG_n間特徵像素的對應關係。需注意的是，由於特徵像素僅代表局部(local)的獨特性，因此影像處理裝置20於取得特徵像素的對應關係時，必須考慮空間因素。舉例來說，當影像IMG_1~IMG_n為針對相同場景利用不同曝光值取得之影像時，二位元影像BIMG_1~BIMG_n間相對應特徵像素間之相對距離必須接近。於取得二位元影像BIMG_1~BIMG_n間特徵像素的對應關係後，影像處理裝置20可利用隨機抽樣一致(Random Sample Consensus，RANSAC)演算法，計算二位元影像BIMG_1~BIMG_n間各像素的對應關係。如此一來，影像處理裝置20即可根據取得的對應關係，對齊並校正影像IMG_1~IMG_n(步驟310)。其中，漢明距離以及隨機抽樣一致演算法的運作流程應為本技術領域具有通常知識者所熟知，為求簡潔，在此不贅述。

值得注意的是，本發明之主要精神為將依序接收到的影像映射至二元空間，以透過簡潔之運算來找尋影像間對應的特徵像素，從而有效率地對齊並校正依序接收到的影像。根據不同應用，本領域熟知技藝者可據以實施適當之修改及更動。舉例來說，閥值TH_1~TH_n可為影像IMG_1~IMG_n所有像素亮度特徵中之較低四分位數(Lower quartile)、較高四分位數(Higher quartile)或是平均數(Mean)等統計數值，但不限於此。

此外，影像處理裝置20亦可於一次運算中，使用不同定義方式之閥值(如中位數、較低四分位數、較高四分位數、平均值等統計數據)，來增加取得的特徵像素個數，進而提高校正影像的準確性。舉例來說，請參考第5圖，第5圖為本發明實施例一影像處理方法50的流程圖。影像處理方法50可用來校正影像IMG_1~IMG_n，其可被編譯為第2圖所示的程式碼214，且包含以下步驟：步驟500：開始。

步驟502：依序接收影像IMG_1~IMG_n。

步驟504：根據每一影像之複數個亮度特徵，產生分別對應於影像IMG_1~IMG_n之閥值TH_1_1~TH_n_1、TH_1_2~TH_n_2、TH_1_3~TH_n_3。

步驟506：根據閥值TH_1_1~TH_n_1、TH_1_2~TH_n_2、TH_1_3~TH_n_3，轉換影像IMG_1~IMG_n，以分別產生二位元影像BIMG_1_1~BIMG_n_1、BIMG_1_2~BIMG_n_2、BIMG_1_3~BIMG_n_3。

步驟508：根據二位元影像BIMG_1_1~BIMG_n_1、BIMG_1_2~BIMG_n_2、BIMG_1_3~BIMG_n_3，尋找特徵像素。

步驟510：根據每一二位元影像之特徵像素，校正影像IMG_1~IMG_n。

步驟512：結束。

根據影像處理方法50，影像處理裝置20可簡化取得影像IMG_1~IMG_n間相對應特徵像素之運算，從而有效率地對齊並校正影像IMG_1~IMG_n。在影像處理方法50中，閥值TH_1_1~TH_n_1 係為影像IMG_1~IMG_n所有像素亮度特徵中之中位數，閥值TH_1_2~TH_n_2係為影像IMG_1~IMG_n所有像素亮度特徵中之較低中位數，而閥值TH_1_3~TH_n_3係為影像IMG_1~IMG_n所有像素亮度特徵中之較高中位數。在第3圖所示之影像處理方法30中，由於僅使用影像IMG_1~IMG_n所有像素亮度特徵中之中位數作為閥值來產生二位元影像BIMG_1~BIMG_n，二位元影像BIMG_1~BIMG_n中高亮度區域及低亮度區域的會呈現高相似程度(即二位元影像BIMG_1~BIMG_n中高亮度區域可能全部為〝1〞，而低亮度區域可能全部為〝0〞)。在此狀況下，二位元影像BIMG_1~BIMG_n中高亮度區域及低亮度區域便無法產生特徵像素。因此，影像處理方法50另根據較閥值TH_1_1~TH_n_1低之閥值TH_1_2~TH_n_2，產生二位元影像BIMG_1_2~BIMG_n_2，從而根據二位元影像BIMG_1_2~BIMG_n_2，取得位於低亮度區域的特徵像素。相似地，影像處理方法50另根據較閥值TH_1_1~TH_n_1高之閥值TH_1_3~TH_n_3，產生二位元影像BIMG_1_3~BIMG_n_3，從而根據二位元影像BIMG_1_3~BIMG_n_3，取得位於高亮度區域的特徵像素。簡言之，相較於影像處理方法30，影像處理方法50可透過使用相異定義方式之閥值，增加取得的特徵像素數量，從而提高校正影像IMG_1~IMG_n的準確性。影像處理方法50之詳細運作流程可參照上述，為求簡潔，在此不贅述。

值得注意的是，上述所有步驟，包含所建議的步驟，可透過硬體、韌體(即硬體裝置與電腦指令的組合，硬體裝置中的資料為唯讀軟體資料)或電子系統等方式實現。硬體可包含類比、數位及混合電路(即微電路、微晶片或矽晶片)。電子系統可包含系統單晶片(system on chip，SOC)、系統封裝(system in package，Sip)、電腦模組(computer on module，COM)及影像處理裝置20。

綜上所述，本發明提出的影像處理方法及相關的影像處理裝置藉由將依序接收到的複數個影像映射至二元空間，簡化取得複數個影像中特徵像素之運算流程，從而有效率地對齊並校正複數個影像。更甚者，透過採用不同方式產生的閥值，複數個影像校正的準確性可獲得有效提昇。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

20‧‧‧影像處理裝置

200‧‧‧處理單元

210‧‧‧儲存單元

214‧‧‧程式碼

30‧‧‧影像處理方法

300~312‧‧‧步驟

40‧‧‧像素區域

50‧‧‧影像處理方法

500~512‧‧‧步驟

BIMG_1~BIMG_n、BIMG_1_1~BIMG_n_1、BIMG_1_2~BIMG_n_2、BIMG_1_3~BIMG_n_3‧‧‧二位元影像

GX_1~GX_25、GY_1~GY_25‧‧‧梯度變化

IMG_1~IMG_n‧‧‧影像

P、P_1~P_24‧‧‧像素

TH_1~TH_n、TH_1_1~TH_n_1、TH_1_2 ~TH_n_2、TH_1_3~TH_n_3‧‧‧閥值

第1圖為習知尺度不變特徵轉換的示意圖。

第2圖為本發明實施例一影像處理裝置的示意圖。

第3圖為本發明實施例一影像處理方法的流程圖。

第4圖為本發明實施例一像素區域的示意圖。

第5圖為本發明實施例另一影像處理方法的流程圖。

50‧‧‧影像處理方法

500~512‧‧‧步驟

Claims

一種校正影像的影像處理方法，包含有：依序接收複數個影像；根據該複數個影像中每一影像之複數個亮度特徵，產生對應於每一影像之至少一閥值；根據該每一影像之該複數個閥值，轉換該每一影像，以產生複數個二位元影像；劃分對應於該每一二位元影像中每一像素的複數個像素區域；根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異；根據該複數個像素區域之該複數個像素區域差異以及一特徵閥值，判斷每一二位元影像之複數個特徵像素；以及根據該每一二位元影像之該複數個特徵像素，校正該複數個影像。
如請求項1所述之影像處理方法，其中該每一影像具有相異亮度範圍。
如請求項1所述之影像處理方法，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之中位數。
如請求項1所述之影像處理方法，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之較小四分位數(Lower Quartile)。
如請求項1所述之影像處理方法，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之較大四分位數(Higher Quartile)。
如請求項1所述之影像處理方法，其中根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異的步驟包含有：當一第一像素區域中一第一像素相異於與該第一像素水平相鄰的一第一水平像素時，將對應於該第一像素區域的像素區域差異增加。
如請求項1所述之影像處理方法，其中根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異的步驟包含有：當一第一像素區域中一第一像素相異於與該第一像素垂直相鄰的一第一垂直像素時，將對應於該第一像素區域的像素區域差異增加。
如請求項1所述之影像處理方法，其中根據該每一像素區域之該複數個像素區域差異以及一特徵閥值，判斷每一二位元影像之複數個特徵像素的步驟包含有：當一第一像素區域的像素區域差異超過該特徵閥值時，判斷對應於該第一像素區域的像素為該每一二位元影像之該複數個特徵像素其中之一。
如請求項1所述之影像處理方法，其中根據該每一二位元影像之該複數個特徵像素，校正該複數個影像的步驟包含有：根據該複數個特徵像素之該複數個像素區域，校正該複數個影像。
一種校正影像的影像處理裝置，包含有：一處理單元；以及一儲存單元，用來儲存一程式碼，該程式碼指示該處理單元執行以下步驟：依序接收複數個影像；根據該複數個影像中每一影像之複數個亮度特徵，產生對應於每一影像之複數個閥值；根據該每一影像之該複數個閥值，轉換該每一影像，以產生複數個二位元影像；劃分對應於該每一二位元影像中每一像素的複數個像素區域；根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異；根據該複數個像素區域之該複數個像素區域差異以及一特徵閥值，判斷每一二位元影像之複數個特徵像素；以及根據該每一二位元影像之該複數個特徵像素，校正該複數個影像。
如請求項10所述之影像處理裝置，其中該每一影像具有相異亮度範圍。
如請求項10所述之影像處理裝置，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之中位數。
如請求項10所述之影像處理裝置，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之較小四分位數(Lower Quartile)。
如請求項10所述之影像處理裝置，其中該每一影像的該複數個閥值包含該每一影像中亮度特徵之較大四分位數(Higher Quartile)。
如請求項10所述之影像處理裝置，其中該處理單元根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異的步驟包含有：當一第一像素區域中一第一像素相異於與該第一像素水平相鄰的一第一水平像素時，將對應於該第一像素區域的像素區域差異增加。
如請求項10所述之影像處理裝置，其中該處理單元根據每一像素區域中像素間的差異，取得該每一像素區域之一像素區域差異的步驟包含有：當一第一像素區域中一第一像素相異於與該第一像素垂直相鄰的一第一垂直像素時，將對應於該第一像素區域的像素區域差異增加。
如請求項10所述之影像處理裝置，其中該處理單元根據該每一像素區域之該複數個像素區域差異以及一特徵閥值，判斷每一二位元影像之複數個特徵像素的步驟包含有：當一第一像素區域的像素區域差異超過該特徵閥值時，判斷對應於該第一像素區域的像素為該每一二位元影像之該複數個特徵像素其中之一。
如請求項10所述之影像處理裝置，其中該處理單元根據該每一二位元影像之該複數個特徵像素，校正該複數個影像的步驟包含有：根據該複數個特徵像素之該複數個像素區域，校正該複數個影像。