TWI435599B - 影像擷取裝置及其影像擷取方法 - Google Patents

Description

影像擷取裝置及其影像擷取方法

本發明是有關於一種影像擷取裝置及其控制方法，特別是有關於一種可提升影像品質之影像擷取裝置及其影像擷取方法。

目前為了降低相機因為晃動，而造成拍攝時的影像品質下降，數位相機常利用多重取樣影像疊合的方式，來增進畫面品質。在這一種方式中，都需針對特定場景以降低快門開啟時間的方式來拍一系列影像，然後從中選定一參考影像，針對其他所拍攝之影像與選定之參考影像，進行幾何移動估測，找出各影像與參考影像間的幾何轉換參數。然後根據所估測出的轉換參數對各影像進行轉換，以期讓各張影像能與所選定之參考影像點對點疊合，然後利用一些疊合技巧把分佈在各影像中相關像點疊合成一個較為清晰的影像。

此類影像擷取裝置的原理，在於當快門開啟時間降低時，相機的晃動或是特定場景內的物件移動，將會較長時間取樣要來的小，藉以降低因此而造成的移動糢糊(Motion Blur)。實際實施方式，則是將其曝光時間的初始偵測結果，分割其曝光時間至等長且較小的影像取樣時間，並令高速光感測元件依其分派的影像取樣時間，擷取多張的高取樣頻率影像。而所有高取樣頻率影像的光線強度將會相同，且影像取樣時間加總，將等於裝置預先設定之曝光時間。利用此種方式，每一張處理的畫面相較於正確的曝光畫面，有著更小的曝光時間，從而提昇了在移動資訊估測時的準確度及動態模糊補償的能力。

然而，在移動畫面當中，儘管較小的偵攝時間可以降低移動估測誤差，但是高取樣頻率畫面本身的有效性，並沒有經過分析。當這些畫面因移動所造成的糢糊因高取樣頻率而消除時，畫面則會因為高取樣頻率而引入畫素的量化誤差，使該影像擷取裝置將無法有效達成增進輸出影像品質的目的。這樣的一個畫素量化誤差的現象，特別會在取樣頻率升高時，顯的更加的嚴重。在重覆取樣的使用上，同時考量利用縮短取樣時間和因其引入的量化誤差，將成為增進影像品質的關鍵。

另外，初始曝光時間的設定，亦某種程度的限制了高取樣頻率影像的合成效果。因此，以需求來說，設計一個可提升影像品質之影像擷取裝置及其影像擷取方法，已成市場應用上之一個刻不容緩的議題。

有鑑於上述習知技藝之問題，本發明之目的就是在提供一種影像擷取裝置及其影像擷取方法，以解決目前影像擷取裝置需制式地長時處理多重影像，且疊合效果不盡理想的問題。

根據本發明之目的，提出一種影像擷取裝置，其包含一影像擷取模組以及一處理模組。影像擷取模組係根據一場景擷取複數張暫時影像。處理模組係依序分析各該暫時影像以對應產生一分析結果，該處理模組根據各該分析結果動態地調整該影像擷取模組擷取各該暫時影像之取樣時間長短，該處理模組根據該些分析結果來挑選部分的該複數張暫時影像進行影像疊合，並根據一停止訊號以停止進行暫時影像之擷取，以產生一儲存影像。

根據本發明之目的，再提出一種影像擷取方法，包含下列步驟：以一影像擷取模組根據一場景擷取複數張暫時影像；由一處理模組依序分析各該暫時影像以對應產生一分析結果；藉由該處理模組根據各該分析結果動態地調整該影像擷取模組擷取各該暫時影像之取樣時間長短；以及利用該處理模組根據該些分析結果來挑選部分的該複數張暫時影像進行影像疊合，並根據一停止訊號以停止進行暫時影像之擷取，以產生一儲存影像。

其中，該處理模組控制一影像分析模組分析各該暫時影像之移動模糊（motion blur）或取樣量化誤差，以對應產生該分析結果。

其中，處理模組更根據此分析結果決定上述之取樣時間、或決定此暫時影像是否用於影像疊合、或是決定此暫時影像用於影像疊合之權重。

其中，更包含一曝光模組對該場景做測光，以產生一曝光時間，該處理模組根據該曝光時間決定該複數張暫時影像中之第一暫時影像之取樣時間。

其中，當該處理模組疊合該複數張暫時影像的取樣時間之總和大於或等於該曝光時間時，該處理模組產生該停止訊號。

其中，當該處理模組疊合該複數張暫時影像所產生之一暫時疊合影像之影像品質，超過一閾值時，該處理模組產生該停止訊號。

其中，當該處理模組接收到一觸發訊號時，該處理模組產生該停止訊號。

其中，該處理模組控制一影像疊合模組疊合該些暫時影像中相同影像物件中的每一像素，以產生該儲存影像。

承上所述，依本發明之影像擷取裝置及其影像擷取方法，其可具有一或多個下述優點：

（1）此影像擷取裝置及其影像擷取方法可於拍攝過程中，藉由分析模組對於多張暫時影像的分析結果，選取適當的暫時影像及剔除不必要的暫時影像，以決定所需的暫時影像來進行影像疊合。因為暫時影像當中將有部分的資訊因為分析模組分析的結果而遭到剔除，故在取樣複數張暫時影像時，取樣停止的時間，將依據疊合複數張暫時影像的光量總和是否大於等於原訂曝光時間作為基準，取樣時間的總和，將不受預先設定的一個總曝光時間的限制。

（2）此影像擷取裝置及其影像擷取方法可於拍攝過程中，依照分析模組對目前暫時影像的品質以及其對應取樣時間的長短，決定下一個暫時影像的取樣時間是否需要改變。這樣的設計，可以依據相機或物件移動的程度，決定取樣時間，以避免高取樣時間影像的嚴重像素量化，及低取樣時間影像的嚴重移動糢糊問題。

以下將參照相關圖式，說明依本發明之影像擷取裝置及其影像擷取方法之實施例，為使便於理解，下述實施例中之相同元件係以相同之符號標示來說明。

本發明之影像擷取裝置可以是數位相機（Digital Camera）、照相手機（Camera Phone）、智慧型手機（Smartphone）或數位攝影機（Digital Video Camera）等各種具有攝像功能的可攜式電子裝置，為便於更暸解本發明之技術特徵，底下是以照相手機為實施例，但並不以此為限。

請參閱第1圖，其係為本發明之影像擷取裝置一實施例之方塊圖。如圖所示，本發明之影像擷取裝置1包含了一影像擷取模組10、一曝光模組11、一處理模組12、一影像分析模組13、一影像疊合模組14、一儲存模組15以及一顯示模組16。影像擷取模組10係可根據一拍攝場景來擷取影像及產生影像資料。影像擷取模組10可包含鏡頭、感光元件如互補式金氧半導體元件（Complementary Metal-Oxide-Semiconductor，CMOS）或電荷耦合元件（Charge-Coupled-Device，CCD）、類比/數位電路、影像處理器等。曝光模組11係具有自動曝光（Auto Exposure）調節的機制，可包含光圈大小、快門、ISO感光度等，其對該拍攝場景做測光，以產生一初始的曝光時間。儲存模組15可作影像之儲存，其可為嵌入式記憶體、外接式記憶卡或其組合。顯示模組16係用以顯示影像，其可為液晶顯示器（Liquid Crystal Display，LCD）或觸控式液晶螢幕。

處理模組12係電性連接影像擷取模組10、曝光模組11、影像分析模組13、影像疊合模組14、儲存模組15以及顯示模組16，其可為中央處理器（Central Processing Unit，CPU）或微處理器（Micro-Processing Unit）。處理模組12可依據曝光模組11提供的一初始曝光時間，來控制影像擷取模組10擷取第一張的暫時影像101。而影像分析模組13可即時分析第一張暫時影像101的移動模糊（motion blur）情況及取樣量化誤差，以對應產生一分析結果。該分析結果可為一個移動模糊情況、取樣量化誤差或其組合的權重衡量值。同時，處理模組12可依據該分析結果來動態地調整影像擷取模組13擷取第二張暫時影像101的取樣時間，並影像分析模組13可進一步地對第二張暫時影像101的移動模糊情況、取樣量化誤差，及第一、第二張暫時影像101作完移動估測誤差後與實際狀況比較的差值，以對應產生另一個分析結果。

也就是說，處理模組12可控制影像擷取模組10擷取複數張暫時影像101，並依序分析各該暫時影像101，以對應產生各該暫時影像101各該分析結果。其中各該分析結果可為各該暫時影像101之移動模糊情況、取樣量化誤差，或暫時影像101間作完移動估測誤差後與實際狀況比較的差值或其組合，所得到的一個權重衡量值。處理模組12可依序根據各該分析結果，來動態地調整影像擷取模組10擷取各該暫時影像101的取樣時間。接著，處理模組12可進一步根據各該權重衡量值，來挑選部分的暫時影像101，並控制影像疊合模組14對相同影像物件中的每一像素進行影像疊合。或著，處理模組12可控制影像疊合模組14根據各個暫時影像101所各自對應的權重衡量值，來進行影像疊合的動作。也就是說，處理模組12可將各個暫時影像101乘上各自的權重衡量值，或是參考各個暫時影像101各自的權重衡量值，將各個暫時影像101乘上不同的比重，以完成影像的疊合。

值得注意的是，處理模組12可控制各該模組持續進行前面所敘述之影像擷取與迎向疊合之動作，直至接收到一停止訊號，才停止暫時影像的擷取。其中，停止訊號可由下列不同情況產生：例如，當處理模組12疊合該複數張暫時影像101之取樣時間總和大於或等於曝光模組11提供的初始曝光時間時，處理模組12產生該停止訊號。或著，當處理模組12疊合該複數張暫時影像101所產生之一暫時疊合影像之影像品質，超過一閾值時，處理模組12產生該停止訊號。又或著，當處理模組12接收到使用者鬆開影像擷取按鈕所產生之一觸發訊號時，處理模組12產生該停止訊號。

而後，處理模組12可控制影像疊合模組14完成該些暫時影像101之疊合，以產生一張儲存影像151，儲存於儲存模組15。並處理模組12可控制顯示模組16顯示該儲存影像151。順帶一提的是，在本發明所屬領域中具有通常知識者應當明瞭，於前面敘述方式之停止訊號產生方式之實施態樣僅為舉例而非限制；另外，熟悉此項技藝者當可任意結合上述之功能模組成一整合式模組，或分拆成各個功能細部單元，端看設計上的方便而定。

請一併參閱第2圖，其係為本發明之影像擷取裝置一實施例之示意圖。如圖所示，當使用者欲進行多重影像之攝像疊合以提高最終儲存影像的品質時，可先於影像擷取的前置設定評估作業狀態（一般通稱為S1過程），利用曝光模組11對一個拍攝場景先做測光，以產生一初始的曝光時間。當影像擷取裝置1進入影像擷取的實際作業過程時（一般通稱為S2過程），處理模組12一開始可以依據S1過程調整的初始曝光時間來設定第一張暫時影像101的取樣時間。在本實施例中，曝光模組11產生的初始曝光時間可為1秒，處理模組12可依據1秒的初始曝光時間設定一個1/2秒的第一張暫時影像101之取樣時間。當第一張暫時影像101擷取完畢後，影像分析模組13可即時分析第一張暫時影像101的移動模糊情況及取樣量化誤差，以對應產生一個移動模糊情況、取樣量化誤差或其組合的第一權重衡量值。

同時，處理模組12可依據影像分析模組13所分析的第一權重衡量值，來動態地調整影像擷取模組13擷取第二張暫時影像101的取樣時間。在本實施例中，當使用者持續拍攝第二張暫時影像101時，若拍攝第一張暫時影像101的第一權重衡量值之結果未符合一預設標準，亦即第一張暫時影像101的移動模糊情況和取樣量化誤差未在一個預設可接受的範圍時，表示使用者當下的穩定度比預設的情況不穩定；此時，處理模組12可縮短影像擷取模組13擷取第二張暫時影像101的取樣時間。例如，將原先的1/2秒縮短成1/4秒。當第二張暫時影像101擷取完畢後，影像分析模組13可進一步地對第二張暫時影像101的移動模糊情況、取樣量化誤差，或第一及第二張暫時影像101作完移動估測誤差後與實際狀況比較的差值或其組合，以對應產生第二權重衡量值。

當使用者持續拍攝第三張暫時影像101時，若拍攝第二張暫時影像101的第二權重衡量值之結果符合預設標準，亦即第二張暫時影像101的移動模糊情況和取樣量化誤差在一個預設可接受的範圍時，表示使用者當下的穩定度比預設的情況穩定；此時，處理模組12可增加影像擷取模組13擷取第三張暫時影像101的取樣時間。例如，將原先的1/4秒增加成1/3秒。當第三張暫時影像101擷取完畢後，影像分析模組13可進一步地對第三張暫時影像101的移動模糊情況、取樣量化誤差，或第二及第三張暫時影像101作完移動估測誤差後與實際狀況比較的差值或其組合，以對應產生第三權重衡量值。也就是說，處理模組12可依序根據各個權重衡量值，來動態地依序調整影像擷取模組10擷取各個暫時影像101的取樣時間。

請參閱第3A及第3B圖，其分別為本發明之影像擷取裝置一實施例之暫時影像分類之第一示意圖以及本發明之影像擷取裝置一實施例之暫時影像分類之第二示意圖。如圖所示，處理模組12可根據各個權重衡量值之大小（例如權重衡量值由大至小其分別代表影像品質分數高至低），來刪除部分影像品質較差的（分數較低）或模糊的暫時影像31、32、33及34（如第3A圖中具有條紋之暫時影像），並留存部分影像品質較好的（分數較高）暫時影像（如第3B圖中所剩下之暫時影像）。或著，處理模組12可根據各個權重衡量值之大小（例如權重衡量值由大至小其分別代表影像品質分數高至低），將部分影像品質較差的（分數較低）或模糊的暫時影像31、32、33及34（如第3A圖中具有條紋之暫時影像）給予較低的權重，並將部分影像品質較好的（分數較高）暫時影像（如第3A圖中不具條紋之暫時影像）給予較高的權重，以進一步進行影像疊合的動作。在本實施例中，權重衡量值由大至小其代表影像品質分數高至低，然實施態樣僅為舉例而非限制，本發明於實際實施時，並不限於此種方式。

請一併參閱第4圖，其係為本發明之影像擷取裝置一實施例之暫時影像疊合之示意圖。如圖所示，處理模組12可進一步控制影像疊合模組14從影像品質較好的暫時影像中選取一參考暫時影像41，並將相同影像物件中的每一像素進行影像疊合，以產生一暫時的疊合影像。此外，在暫時影像疊合過程中，若發現有一暫時影像無法與該參考暫時影像41正確疊合時；亦即在估測該暫時影像與所選定之該參考暫時影像41間的幾何轉換參數時。因其誤差過大而造成影像無法有效疊合，或是因為該暫時影像中局部物體的變化程度過大，造成該暫時影像與該參考暫時影像41間的誤差過大而無法疊合時，處理模組12可針對可正確疊合的暫時影像進行疊合，去除無法疊合的暫時影像。

值得一提的是，前面所敘述之影像擷取與迎向疊合之動作，各該模組可不間斷地持續進行，直至處理模組12接收到一停止訊號，處理模組12才會控制影像擷取模組10停止暫時影像的擷取。在本實施例中，停止訊號可由下列不同情況產生：例如，當處理模組12疊合該複數張影像品質較好的暫時影像之取樣時間總和大於或等於曝光模組11提供的初始曝光時間（如前面所舉例之1秒）時，處理模組12產生該停止訊號。或著，當處理模組12疊合該複數張暫時影像所產生之一暫時疊合影像之影像品質，超過一閾值時，處理模組12產生該停止訊號（該閾值係可由使用者於影像正式開始擷取前設定好所欲疊合之最終影像品質為極優、優或一般等等所決定）。又或著，當使用者按下影像擷取按鈕後，處理模組12可控制前面所敘述各個模組一直持續進行，直至處理模組12接收到使用者鬆開影像擷取按鈕所產生之一觸發訊號時，處理模組12才產生該停止訊號。

而後，處理模組12可控制影像疊合模組14完成該些暫時影像之疊合，以產生一張最終的儲存影像151，儲存於儲存模組15。並處理模組12可控制顯示模組16顯示該儲存影像151。順帶一提的是，在本發明所屬領域中具有通常知識者應當明瞭，前述之停止訊號的產生之實施態樣僅為舉例而非限制，在此先行敘明。

由上述可知，因為有了這樣的一個自由度，疊合後的畫面品質可以動態的增加。在影像擷取裝置1決定結束最終儲存畫面的拍攝動作之前，拍攝畫面的品質將可持續因為新進有效資訊增加而改善。換言之，依取樣畫面品質動態調整取樣長度的方法，將能有效的提升最終儲存影像的影像品質。

請參閱第5圖，其係為本發明之具有影像擷取功能之電子裝置一實施例之示意圖。如圖所示，本發明之電子裝置5係包含一本體50、輸入裝置51及影像擷取裝置1，影像擷取裝置1係設置於本體50之上且與輸入裝置51電性連接。影像擷取裝置1則包含了影像擷取模組、曝光模組、處理模組、影像分析模組、影像疊合模組、儲存模組以及顯示模組，此處的影像擷取裝置1之詳細敘述已於前面詳述過，在此便不再贅述。然而值得一提的是，本發明所提出的電子裝置5係可為各式移動式手持裝置，例如數位相機、具有照相功能的多媒體播放裝置、具有照相功能的行動電話、智慧型手機、導航裝置、具照相功能之平板電腦或個人數位助理等。

在本實施例中，本發明之電子裝置5即以智慧型手機為例，其係可內嵌本發明所提出之影像擷取裝置1作為照相用，因而使用者可藉由智慧型手機之輸入裝置51如觸控螢幕或實體按鍵等，在需要拍攝多張暫時影像以進行影像疊合的情況下，電子裝置5隨即開始進行上述的暫時影像分析、動態地調整暫時影像之取樣時間、及挑選並疊合影像品質較好之暫時影像的動作，其大大的提升了影像疊合的品質。本實施例所揭露之智慧型手機係僅為舉例而非限制，於本發明所屬技術領域具有通常知識者應可輕易置換其他的裝置搭配本發明之影像擷取裝置，在此先行敘明。

儘管前述在說明本發明之影像擷取裝置的過程中，亦已同時說明本發明之影像擷取裝置之影像擷取方法的概念，但為求清楚起見，以下仍另繪示流程圖詳細說明。

請參閱第6圖，其係為本發明之影像擷取方法之流程圖。如圖所示，本發明之影像擷取方法，其適用於一影像擷取裝置，該影像擷取裝置包含一影像擷取模組、一曝光模組、一處理模組、一影像分析模組、一影像疊合模組、一儲存模組以及一顯示模組。影像擷取裝置之影像擷取方法包含下列步驟：

（S61）以一影像擷取模組根據一場景擷取複數張暫時影像；
（S62）由一處理模組控制一影像分析模組依序分析各該暫時影像之移動模糊或取樣量化誤差，以對應產生一分析結果；
（S63）藉由該處理模組根據各該分析結果動態地調整該影像擷取模組擷取各該暫時影像之取樣時間；以及
（S64）利用該處理模組根據該些分析結果來挑選部分的該複數張暫時影像進行影像疊合，並根據一停止訊號以停止進行暫時影像之擷取，以產生一儲存影像。

本發明之影像擷取裝置之影像擷取方法的詳細說明以及實施方式已於前面敘述本發明之影像擷取裝置以及電子裝置時描述過，在此為了簡略說明便不再敘述。

綜上所述，本發明所提出之影像擷取裝置及其影像擷取方法可於拍攝過程中，藉由高速感測元件的特性，依照先前暫時影像的品質動態地調整後面暫時影像的取樣時間，並選取適當的暫時影像及剔除不必要的暫時影像，以決定所需的暫時影像來進行影像疊合，並且不預先限制一個總曝光時間來擷取欲進行疊合的暫時影像。如此將能提升影像合成的結果。

以上所述僅為舉例性，而非為限制性者。任何未脫離本發明之精神與範疇，而對其進行之等效修改或變更，均應包含於後附之申請專利範圍中。

1．．．影像擷取裝置

10．．．影像擷取模組

101．．．暫時影像

11．．．曝光模組

12．．．處理模組

13．．．影像分析模組

14．．．影像疊合模組

15．．．儲存模組

151．．．儲存影像

16．．．顯示模組

31、32、33、34．．．刪除之暫時影像

41．．．參考暫時影像

5．．．電子裝置

50．．．本體

51．．．輸入裝置

S61~S64．．．步驟

第1圖係為本發明之影像擷取裝置一實施例之方塊圖。
第2圖係為本發明之影像擷取裝置一實施例之示意圖。
第3A圖係為本發明之影像擷取裝置一實施例之暫時影像分類之第一示意圖。
第3B圖係為本發明之影像擷取裝置一實施例之暫時影像分類之第二示意圖。
第4圖係為本發明之影像擷取裝置一實施例之暫時影像疊之合示意圖。
第5圖係為本發明之具有影像擷取功能之電子裝置一實施例之示意圖。
第6圖係為本發明之影像擷取方法之流程圖。

1．．．影像擷取裝置

10．．．影像擷取模組

101．．．暫時影像

11．．．曝光模組

12．．．處理模組

13．．．影像分析模組

14．．．影像疊合模組

15．．．儲存模組

151．．．儲存影像

16．．．顯示模組

Claims (12)

1. 一種影像擷取裝置，其包含：
   一影像擷取模組，係根據一場景擷取複數張暫時影像；以及
   一處理模組，係依序分析各該暫時影像以對應產生一分析結果，該處理模組根據各該分析結果動態地調整該影像擷取模組擷取各該暫時影像之取樣時間，該處理模組根據該些分析結果來挑選部分的該複數張暫時影像進行影像疊合，並根據一停止訊號以停止進行暫時影像之擷取，以產生一儲存影像。
2. 如申請專利範圍第1項所述之影像擷取裝置，其中該處理模組控制一影像分析模組分析各該暫時影像之移動模糊或取樣量化誤差，以對應產生該分析結果。
3. 如申請專利範圍第2項所述之影像擷取裝置，其中該處理模組更根據該分析結果決定該取樣時間、或決定該暫時影像是否用於影像疊合、或是決定該暫時影像用於影像疊合之權重。
4. 如申請專利範圍第1項所述之影像擷取裝置，更包含一曝光模組對該場景做測光，以產生一曝光時間，該處理模組根據該曝光時間決定該複數張暫時影像中之一第一暫時影像之取樣時間。
5. 如申請專利範圍第4項所述之影像擷取裝置，其中當該處理模組疊合該複數張暫時影像的取樣時間之總和大於或等於該曝光時間時，該處理模組產生該停止訊號。
6. 如申請專利範圍第1項所述之影像擷取裝置，其中當該處理模組疊合該複數張暫時影像所產生之一暫時疊合影像之影像品質，超過一閾值時，該處理模組產生該停止訊號。
7. 如申請專利範圍第1項所述之影像擷取裝置，其中當該處理模組接收到一觸發訊號時，該處理模組產生該停止訊號。
8. 一種影像擷取方法，包含下列步驟：
   以一影像擷取模組根據一場景擷取複數張暫時影像；
   由一處理模組依序分析各該暫時影像以對應產生一分析結果；
   藉由該處理模組根據各該分析結果動態地調整該影像擷取模組擷取各該暫時影像之取樣時間；以及
   利用該處理模組根據該些分析結果來挑選部分的該複數張暫時影像進行影像疊合，並根據一停止訊號以停止進行暫時影像之擷取，以產生一儲存影像。
9. 如申請專利範圍第8項所述之影像擷取方法，更包含下列步驟：
   以該處理模組控制一影像分析模組來分析各該暫時影像之移動模糊或取樣量化誤差，來對應產生該分析結果。
10. 如申請專利範圍第8項所述之影像擷取方法，更包含下列步驟：
    透過一曝光模組對該場景做測光，以產生一曝光時間；以及
    使用該處理模組根據該曝光時間決定該複數張暫時影像中之一第一暫時影像之取樣時間。
11. 如申請專利範圍第10項所述之影像擷取方法，更包含下列步驟：
    當該處理模組疊合該複數張暫時影像的取樣時間之總和大於或等於該曝光時間時，該處理模組產生該停止訊號。
12. 如申請專利範圍第8項所述之影像擷取方法，更包含下列步驟：
    當該處理模組疊合該複數張暫時影像所產生之一暫時疊合影像之影像品質，超過一閾值時，該處理模組產生該停止訊號。