TWI445396B

TWI445396B - 電子裝置、影像擷取裝置及其方法

Info

Publication number: TWI445396B
Application number: TW099140223A
Authority: TW
Inventors: Yun Chin Li; Yu Ming Cheng; Chin Lung Yang
Original assignee: Altek Corp
Priority date: 2010-11-22
Filing date: 2010-11-22
Publication date: 2014-07-11
Also published as: US20120086836A1; TW201223263A; US8922678B2

Description

電子裝置、影像擷取裝置及其方法

本發明是有關於一種電子裝置、影像擷取裝置及其方法，特別是有關於一種可部分篩選影像以進行影像疊合來降低雜訊且輸出清晰影像之電子裝置、影像擷取裝置及其方法。

目前，數位相機於操作時，肇因於拍照時的手部振動而致使影像模糊的問題始終困擾著攝像者：一般習用之數位相機於操作時，使用者於拍攝照片前，往往會因一時的不慎或手持數位相機的姿勢不正確，而造成的鏡頭振動或晃動。另外，隨著數位相機體積設計越來越輕巧，輕巧型相機按下快門同時發生手振而拍出晃動照片的可能性也會相對提高。因此，手振動的大小程度都會影響到拍攝影像的品質：小則所拍攝出來的影像會角度稍微有偏差、不正之結果；大則造成所拍攝出來的影像模糊不清之結果。防手振相機即是為了克服前述問題而問世。

已知的防手振機制係有多種實施手段，其中包括有利用鏡頭機構的相對移動來補償相機的振動、利用控制光圈值與快門開啟時間來抑制手振現象，以及利用軟體對擷取到的影像進行訊號處理，以期回復影像的清晰度。前述的光學防手振機制乃是利用移動鏡片或影像感測元件進行水平或垂直移動，藉以修正手振所引起的歪斜，其所產生之逆向修正可使相機不因晃動而產生模糊影像；而數位防手振機制乃藉由演算法及影像處理的方式，修正因晃動而產生的模糊影像。

就數位防手振機制而言，一般是利用多重拍攝的方式來降低雜訊，才能於低照度的環境或手振嚴重的情況下，能夠拍攝清楚而不模糊且低雜訊的影像。但要拍出高品質的輸出影像，得先對各影像做幾何校正，如此各影像才能正確地點對點疊合，然後再利用影像處理技巧針對幾何校正後的影像做去雜訊的處理，如此方能產生低雜訊且清晰的影像。然而，目前在相機上廣泛採用的多重影像拍攝的技巧，大都是針對所拍攝的所有影像一併處理，其中並無任何篩選機制來剔除不合用的影像，因此造成所拍得之影像品質參差不齊，因此好的影像與壞的影像，都會被拿去做去雜訊的動作，因此可能把錯誤的影像當成好的影像拿去處理，進而造成輸出影像的品質低劣，反而比採單張影像拍攝的影像還差。

有鑑於上述習知技藝之問題，本發明之目的就是在提供一種電子裝置、影像擷取裝置及其方法，以解決習知的技術將品質參差不齊一併進行疊合所造成輸出影像品質低劣的問題。

根據本發明之目的，提出一種影像擷取裝置，其包含一影像擷取模組以及一處理模組。影像擷取模組係擷取複數個暫時影像。處理模組設定暫時影像的其中之一為一基礎影像，並將各暫時影像劃分為複數個暫時影像區塊，而將基礎影像劃分為複數個基礎影像區塊。處理模組更判斷各暫時影像區塊與對應的基礎影像區塊之差異是否小於一門檻值。當暫時影像區塊的其中之一與對應的基礎影像區塊的其中之一之間的差異小於門檻值時，處理模組即以此暫時影像區塊與對應的基礎影像區塊進行影像疊合，進而對應產生一輸出影像。

其中，門檻值係包含一第一門檻值，且處理模組更將各基礎影像區塊與對應的各暫時影像區塊進行幾何對齊，並對應計算一第一誤差值，當第一誤差值小於第一門檻值時，處理模組即疊合基礎影像區塊與對應的暫時影像區塊。

其中，門檻值係包含一第二門檻值，且處理模組更利用各基礎影像區塊與各暫時影像區塊之一階層分佈圖(histogram)，來判斷各基礎影像區塊與對應的各暫時影像區塊之間的一第二誤差值是否小於第二門檻值，當第二誤差值小於第二門檻值時，處理模組即影像疊合基礎影像區塊與對應的暫時影像區塊。

其中，當暫時影像區塊的其中之一與基礎影像區塊的其中之一之間的差異大於或等於門檻值時，處理模組即以數位增益(digital gain)或內插法(temporal interpolation)對輸出影像進行亮度補償。

根據本發明之目的，再提出一種影像擷取方法，其包含以一影像擷取模組擷取複數個暫時影像，再以一處理模組設定複數個暫時影像的其中之一為一基礎影像，接著以處理模組將各暫時影像劃分為複數個暫時影像區塊，並將基礎影像劃分為複數個基礎影像區塊。再以處理模組判斷各暫時影像區塊與對應的基礎影像區塊的其中之一之間的差異是否小於一門檻值，當暫時影像區塊的其中之一與對應的基礎影像區塊的其中之一之間的差異小於門檻值時，處理模組即以暫時影像區塊與對應的基礎影像區塊進行影像疊合，進而對應產生一輸出影像。

其中，門檻值係包含一第一門檻值，且影像擷取方法更包含以處理模組將各基礎影像區塊與對應的各暫時影像區塊進行幾何對齊，並對應計算一第一誤差值，再以處理模組判斷各第一誤差值是否小於第一門檻值。當第一誤差值小於第一門檻值時，則以處理模組疊合基礎影像區塊與對應的暫時影像區塊。

其中，門檻值係包含一第二門檻值，且影像擷取方法更包含以處理模組利用各基礎影像區塊與各暫時影像區塊之一階層分佈圖(histogram)，來判斷各基礎影像區塊與對應的各暫時影像區塊之間的一第二誤差值是否小於第二門檻值。當第二誤差值小於第二門檻值時，則以處理模組疊合基礎影像區塊與對應的暫時影像區塊。

其中，影像擷取方法更包含當暫時影像區塊的其中之一與基礎影像區塊的其中之一的差異大於或等於門檻值時，則以處理模組透過數位增益(digital gain)或內插法(temporal interpolation)對輸出影像進行亮度補償。

根據本發明之目的，再提出一種電子裝置，其包含一本體以及前述之影像擷取裝置，影像擷取裝置係設於本體之中。

其中，電子裝置係為數位相機、具照相功能之手機、具照相功能之個人數位助理(PDA)或具照相功能之平板電腦。

承上所述，依本發明之電子裝置、影像擷取裝置及其方法，其可具有一或多個下述優點：

(1)此電子裝置、影像擷取裝置及其方法可藉由以小區塊的方式幾何對齊多個暫時影像，並根據其對齊的誤差量來篩選品質不佳的暫時影像區塊，藉此可提高經影像疊合後產生的輸出影像的清晰度。

(2)此電子裝置、影像擷取裝置及其方法可藉由以小區塊的方式分析各暫時影像的階層分佈圖，並根據其誤差量來篩選品質不佳的暫時影像區塊，藉此可提高經影像疊合後產生的輸出影像的清晰度。

1‧‧‧影像擷取裝置

10‧‧‧影像擷取模組

11‧‧‧儲存模組

12‧‧‧處理模組

20、24、25‧‧‧暫時影像

200、240、250‧‧‧暫時影像區塊

2300、2400、2500‧‧‧階層分佈圖

21、23‧‧‧基礎影像

210、230‧‧‧基礎影像區塊

22‧‧‧輸出影像

3‧‧‧行人

30‧‧‧門檻值

300‧‧‧第一門檻值

301‧‧‧第二門檻值

31‧‧‧第一誤差值

32‧‧‧第二誤差值

4‧‧‧電子裝置

40‧‧‧本體

41‧‧‧輸入裝置

S1~S6、S42~S46‧‧‧步驟

第1圖係為本發明之影像擷取裝置之方塊圖；第2圖係為本發明之影像擷取裝置之第一實施例示意圖；第3圖係為本發明之影像擷取裝置之第二實施例示意圖；第4圖係為本發明之電子裝置之實施例示意圖；第5圖係為本發明之影像擷取方法之流程圖；第6圖係為本發明之影像擷取方法之另一流程圖；以及第7圖係為本發明之影像擷取方法之再一流程圖。

請參閱第1圖，其係為本發明之影像擷取裝置之方塊圖。如圖所示，本發明影像擷取裝置1，其包含一影像擷取模組10、一儲存模組11以及一處理模組12。影像擷取模組10係至少包含了感光元件如互補是金氧半導體元件(Complementary Metal-Oxide-Semiconductor，CMOS)或電荷耦合元件(Charge-Coupled-Device，CCD)、鏡頭及鏡組等；儲存模組11 可為嵌入式記憶體、外接式記憶卡或其組合；處理模組12係電性連接影像擷取模組10及儲存模組11，其可為中央處理器(Central Processing Unit，CPU)或微處理器(Micro-Processing Unit，MPU)。在本發明之一些較佳的實施例中，影像擷取裝置1係可為數位相機(Digital Camera)或數位攝影機等(Digital Video Camera)。

其中，影像擷取模組10係擷取複數個暫時影像20，並儲存於儲存模組11中。處理模組12則設定暫時影像20的其中之一為一基礎影像21，並將各暫時影像20劃分為複數個暫時影像區塊200，且將基礎影像21劃分為複數個基礎影像區塊210。處理模組12更判斷各暫時影像區塊200與對應的基礎影像區塊210之差異是否小於一門檻值30。當暫時影像區塊200的其中之一與對應的基礎影像區塊210的其中之一之間的差異小於門檻值30時，處理模組12即以此暫時影像區塊200與對應的基礎影像區塊210進行影像疊合，進而對應產生一輸出影像22。其中，門檻值30係至少包含了一第一門檻值300以及一第二門檻值301。

在一些較佳的實施例中，處理模組12更將各基礎影像區塊210對應地與各暫時影像區塊200進行幾何對齊，並對應計算一第一誤差值31，當第一誤差值31小於第一門檻值300時，處理模組12即對應地影像疊合基礎影像區塊210與暫時影像區塊200。另外，在其他的較佳實施方式中，處理模組12更可利用各基礎影像區塊210與各暫時影像區塊200之一階層分佈圖(histogram)，來判斷各基礎影像區塊210與各暫時影像區塊200之間的一第二誤差值32是否小於一第二門檻值301，當第二誤差值32小於第二門檻值 301時，處理模組12即對應地影像疊合基礎影像區塊210與暫時影像區塊200。而當暫時影像區塊200的其中之一與基礎影像區塊210的其中之一之間的差異大於或等於門檻值時，處理模組12即以數位增益(digital gain)或內插法(temporal interpolation)對輸出影像22於基礎影像區塊210所對應的位置進行亮度補償。

在某些情況之下，影像擷取模組10所擷取的暫時影像的狀況都不佳時，此時所有的暫時影像區塊200與基礎影像區塊210之間的差異皆大於或等於門檻值，則處理模組12即提高基礎影像21的亮度，並對基礎影像21美化以形成輸出影像22。在實施上，輸出影像22較佳為以一檔案形式儲存於儲存模組11中，而暫時影像20係以一資料形式儲存於儲存模組11中。此外，輸出影像22較佳為可供使用者觀看，而暫時影像20無法讓使用者觀看。

請一併參閱第2圖，其係為本發明之影像擷取裝置之第一實施例示意圖。如圖所示，影像擷取模組10首先連續地擷取了三張暫時影像，而處理模組12或使用者選擇了其中一張作為基礎影像23，故其餘兩張即為接下來要與基礎影像23以小區塊進行幾何對齊的暫時影像24、25。由圖中可知，暫時影像25的影像內容較基礎影像23的幾何差異太大，其可能的原因為手振造成的影像位移，或由於環境照度過低產生的雜訊太多，以致於在幾何對齊的過程中對齊的情況不佳。在本實施例中，暫時影像25係為使用者手振之後，相機有向下垂直位移的情況產生，以致於上方的太陽被切掉一半，下方的湖水有多的影像被擷取進來。處理模組12接著將基礎影像23、暫時影像24、25分割成多個小區塊(如圖中的虛線所示)，並以區塊對區塊的模式來進行區塊幾何對齊。

在進行幾何對齊的過程，例如以暫時影像區塊240、250幾何對齊基礎影像區塊230，處理模組12即計算其各個暫時影像區塊240、250在對齊基礎影像區塊230時的幾何轉換參數，且處理模組12更根據各個幾何轉換參數產生第一誤差值31，並與第一門檻值300進行比對，若彼此影像差異過大，就無法正確地對齊，進而導致誤差過大。由圖中可知，暫時影像區塊250在幾何對齊基礎影像區塊230所產生的第一誤差值31，由於其圖像的幾何邊緣差異太大(太陽被切掉一半)，故第一誤差值31便會超過第一門檻值300。此時處理模組12即認定此暫時影像區塊250與所對應的基礎影像區塊230的幾何差距較大，不適用於之後的影像疊合程序，因此處理模組12便不會將暫時影像區塊250與基礎影像區塊230進行影像疊合；相反的，暫時影像區塊240在幾何對齊基礎影像區塊230所產生的第一誤差值31，由於其圖像的幾何邊緣差異不大，故第一誤差值31便會低於第一門檻值300。此時處理模組12即認定此暫時影像區塊250與所對應的基礎影像區塊230的幾何差距較小，可適用於之後的影像疊合程序，因此處理模組12便會將暫時影像區塊240與基礎影像區塊230進行影像疊合。而在一一的進行區塊比對、疊合之後，處理模組12即產生了輸出影像22；然而，此輸出影像22在基礎影像區塊230的位置由於少了暫時影像區塊250的疊合，因此其亮度是不足的。亦即，在本實施例中，原先的輸出影像22對應基礎影像區塊230的位置應具有三張合成的亮度，但此時已經有一張暫時影像區塊250沒有被疊合進去，所以此時經影像疊合後的輸出影像22對應基礎影像區塊230的位置就只剩下2/3的亮度。而為了解決這個問題，處理模組12即以數位增益(digital gain)法，將輸出影像對應基礎影像區塊230的位置的亮度直接提高1/3，以達到原先使用者在測光時所預設的影像亮度。另外，處理模組12也可以內插法(temporal interpolation)，以基礎影像區塊230以及暫時影像區塊240的亮度為基準，推斷出暫時影像區塊250的亮度值，並根據此亮度值對輸出影像對應基礎影像區塊230的位置進行亮度修正。然而，在本發明所屬領域中具有通常知識者應當明瞭，修正輸出影像亮度的方法並不僅侷限於上述兩種，此兩種方法僅為舉例而非限制，在此先行敘明。然而，在某些情況之下，除了基礎影像之外，所有影像擷取模組10所擷取的暫時影像的狀況都不佳時，亦即所有的暫時影像區塊與基礎影像區塊之間的差異皆大於或等於門檻值，則這些暫時影像則皆不會被用以進行影像疊合。此時，處理模組12即提高基礎影像的亮度(以數位增益法等)，再對基礎影像美化以形成並輸出該輸出影像。

另請同時參閱第3圖，其係為本發明之影像擷取裝置之第二實施例示意圖。如圖所示，影像擷取模組10首先擷取了三張暫時影像，而處理模組12或使用者選擇了其中一張作為基礎影像23，故其餘兩張即為接下來要與基礎影像23進行以階層分佈圖(histogram)分析影像內容差異的暫時影像24、25。由圖中可知，暫時影像25的影像內容較基礎影像24的差異太大，其係因使用者於拍照時，有行人3闖入了影像擷取模組10的影像擷取範圍內，以致於暫時影像25在暫時影像區塊250顏色的階層分佈圖2500與基礎影像23對應的基礎影像區塊230顏色的階層分佈圖2300差太多，代表影像內容是不一樣的。此時，處理模組12即認定暫時影像區塊250的影像內容與較基礎影像區塊230差距較大，不適用於之後的影像疊合程序，因此處理模組12即不將暫時影像區塊250與對應的基礎影像區塊230進行影像疊合；相反的，暫時影像24的影像內容較基礎影像24的差異不大，因此於暫時影像24在暫時影像區塊240顏色的階層分佈圖2400與基礎影像23對應的基礎影像區塊230顏色的階層分佈圖2300相差無幾，代表影像內容是近乎相同的。此時，處理模組12即認定暫時影像區塊240的影像內容與較基礎影像區塊230差距不大，可適用於之後的影像疊合程序，因此處理模組12即將暫時影像區塊240與對應的基礎影像區塊230進行影像疊合。而在一一的進行區塊比對、疊合之後，處理模組12即產生了輸出影像，且處理模組12也可更進一步的依據上述的亮度補償法對輸出影像進行亮度補償，在此便不再贅述。

然而，在本發明所屬領域中具有通常知識者應當明瞭，判斷各個暫時影像與基礎影像差異的方法並不僅侷限於上述兩種的單獨實施，也可為其組合，且此兩種方法僅為舉例而非限制，在此先行敘明。

再者，控制模組12對暫時影像或是基礎影像的分割也不限於整張影像的分割，也可以是在對焦點附近一個範圍裡進行分割，或是使用者在影像擷取裝置上選擇有興趣的區域進行分割，又或是影像擷取裝置自動的偵測影像中獨立的物件(如影像經人臉辨識後所界定出的人臉區域)並針對物件進行分割。亦即，本發明並不限制分割暫時影像或基礎影像的方式，如此即可令使用者有著較大的自由度可以選擇其所希望輸出的影像效果的層級(即部分區域疊合或全區域疊合)。

請參閱第4圖，其係為本發明之電子裝置之實施例示意圖。如圖所示，本發明之電子裝置4係包含一本體40、輸入裝置41及影像擷取裝置1，影像擷取裝置1係設置於本體40之上且與輸入裝置41電性連接。影像擷取裝置1則包含了影像擷取模組、儲存模組及處理模組，此處的影像擷取裝置1之詳細敘述已於前面詳述過，在此便不再贅述。然而值得一提的是，本發明所提出的電子裝置4係可為各式移動式手持裝置，例如數位相機、具有照相功能的多媒體播放裝置、具有照相功能的行動電話、智慧型手機(Smart phone)、導航裝置(Navigator)、具照相功能之平板電腦或個人數位助理(PDA)等。

在本實施例中，本發明之電子裝置4即以智慧型手機為例，其係可內嵌本發明所提出之影像擷取裝置1作為照相用，因而使用者可藉由智慧型手機之輸入裝置41如觸控螢幕或實體按鍵等，在需要拍照的情況下，電子裝置4隨即開始進行上述的連拍影像區塊篩選、疊合的動作，因而大大的提升了防手振的效果以及提升輸出影像的清晰度。本實施例所揭露之智慧型手機係僅為舉例而非限制，於本發明所屬技術領域具有通常知識者應可輕易置換其他的裝置搭配本發明之影像擷取裝置，在此先行敘明。

儘管前述在說明本發明之影像擷取裝置的過程中，亦已同時說明本發明之影像擷取方法的概念，但為求清楚起見，以下仍另繪示流程圖詳細說明。

請參閱第5圖，其係為本發明之影像擷取方法之流程圖。如圖所示，本發明之影像擷取方法，其係適用於一影像擷取裝置，影像擷取裝置包含一影像擷取模組、一儲存模組以及一處理模組，影像擷取方法包含下列步驟：(S1)以影像擷取模組擷取複數個暫時影像並儲存於儲存模組中；(S2)以處理模組設定暫時影像的其中之一為一基礎影像；(S3)以處理模組將各暫時影像劃分為複數個暫時影像區塊，並將基礎影像劃分為複數個基礎影像區塊；(S4)以處理模組判斷各暫時影像區塊與對應的基礎影像區塊的其中之一之間的差異是否小於一門檻值；(S5)當暫時影像區塊的其中之一與對應的基礎影像區塊的其中之一之間的差異小於門檻值時，即以處理模組將此暫時影像區塊與對應的基礎影像區塊進行影像疊合，進而對應產生一輸出影像；以及(S6)以處理模組透過數位增益法或內插法對輸出影像進行亮度補償。

其中，步驟(S4)~(S5)係反覆進行直到所有的暫時影像區塊與基礎影像區塊比對完畢。

而當於步驟(S4)中，更包含了若處理模組判斷所有的暫時影像區塊與其所對應的基礎影像區塊之間的差異皆大於或等於門檻值時，即進入步驟(未繪示)： (S40)以處理模組提高基礎影像的亮度；以及(S41)以處理模組對基礎影像美化以形成輸出影像。

請參閱第6圖，其係為本發明之影像擷取方法之另一流程圖。如圖所示，步驟(S4)更包含了下列步驟：(S42)以處理模組將各基礎影像區塊與對應的各暫時影像區塊進行幾何對齊，並對應計算一第一誤差值；(S43)以處理模組判斷各第一誤差值是否小於第一門檻值；以及(S44)當第一誤差值小於第一門檻值時，則以處理模組疊合基礎影像區塊與對應的暫時影像區塊。

而當於步驟(S43)中，第一誤差值大於或等於第一門檻值時，則進行步驟(S6)；同樣地，步驟(S42)~(S44)係反覆進行直到所有的暫時影像區塊與基礎影像區塊比對完畢。

請參閱第7圖，其係為本發明之影像擷取方法之再一流程圖。如圖所示，步驟(S4)更包含了下列步驟：(S45)以處理模組利用各基礎影像區塊與各暫時影像區塊之一階層分佈圖，來判斷各基礎影像區塊與各暫時影像區塊之間的一第二誤差值是否小於一第二門檻值；以及(S46)當第二誤差值小於第二門檻值時，則以處理模組疊合基礎影像區塊與對應的暫時影像區塊。

而當於步驟(S45)中，第二誤差值大於或等於第二門檻值時，則進行步驟(S6)；同樣地，步驟(S45)~(S46)係反覆進行直到所有的暫時影像區塊與基礎影像區塊比對完畢。

另外，步驟(S4)係可單獨包含步驟(S42)~(S44)或步驟(S45)~(S46)，亦可結合兩者而實施，在此並不加以限制。

本發明之影像擷取方法的詳細說明以及實施方式已於前面敘述本發明之影像擷取裝置時描述過了，在此為了簡略說明便不再贅述。

綜上所述，此電子裝置、影像擷取裝置及其方法可藉由以小區塊的方式幾何對齊多個暫時影像，並根據其對齊的誤差量來篩選品質不佳的暫時影像區塊，藉此可提高經影像疊合後產生的輸出影像的清晰度；另外，本發明更可藉由分析各暫時影像中各區塊的階層分佈圖，並根據其誤差量來篩選品質不佳的暫時影像區塊，以有效解決習知以良莠不齊的影像進行疊合時，產生輸出影像品質低劣的問題。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1‧‧‧影像擷取裝置

10‧‧‧影像擷取模組

11‧‧‧儲存模組

12‧‧‧處理模組

20‧‧‧暫時影像

200‧‧‧暫時影像區塊

21‧‧‧基礎影像

210‧‧‧基礎影像區塊