TWI520098B - 影像擷取裝置及其影像形變偵測方法 - Google Patents

Description

影像擷取裝置及其影像形變偵測方法

本發明是有關於一種影像擷取裝置，且特別是有關於一種影像形變偵測方法與使用該方法的影像擷取裝置。

對於當前的影像深度感測技術來說，使用具有雙鏡頭的影像擷取裝置來擷取對應至不同視角的影像是一種常見的方法，藉由對應至不同視角的影像可計算出目標物的三維深度資訊。因此，為了能夠精確的從二維影像中取得目標物之三維深度資訊，此兩個鏡頭之間的空間設置關係是需要經過特別設計，且精密的參數校正是必要的步驟。進一步來說，當工廠製造具有雙鏡頭的影像擷取裝置時，雙鏡頭各自對應的空間位置無法極其準確地設置於預設的設定值上。因此，於製造影像擷取裝置的過程中，工廠將事先針對已設置的雙鏡頭模組進行校正，從而獲取一組工廠預設的校正參數。日後，於使用者操作影像擷取裝置的過程中，影像擷取裝置可利用工廠預設的校正參數來校正透過雙鏡頭所擷 取的影像，以克服製程不夠精密的缺失。

然而，在使用者操作或攜帶影像擷取裝置的過程中，當影像擷取裝置受到擠壓、撞擊或跌落時，可能導致鏡頭產生位移或旋轉等空間位置上的改變。一旦鏡頭產生位移或變形的狀況，工廠內部所預設的校正參數已經不再符合當前的應用狀況，影像擷取裝置也就無法獲取正確的深度資訊。舉例來說，如果立體影像擷取裝置的雙鏡頭間產生水平失衡的問題時，由於失衡之後拍攝出來的左右畫面水平不匹配，將進一步導致三維立體拍攝效果不佳。

有鑑於此，本發明提供一種影像擷取裝置及其影像形變偵測方法，可在影像擷取裝置的使用過程中即時偵測雙鏡頭影像是否產生形變的狀況，並進一步針對影像執行即時的修正。

本發明提出一種影像形變偵測方法，適用於具有第一影像感測器與第二影像感測器的影像擷取裝置。此影像形變偵測方法包括下列步驟。透過第一影像感測器擷取第一影像，並透過第二影像感測器擷取第二影像。依據第一影像與第二影像執行形變偵測，以獲取第一影像與第二影像之間的比對資訊。依據比對資訊判斷第一影像與第二影像之間的座標參數關係是否改變。其中，此座標參數關係關聯於第一影像感測器與第二影像感測器之間的空間設置關係。

在本發明的一實施例中，上述的依據第一影像與第二影像執行形變偵測，以獲取第一影像與第二影像之間的比對資訊的步驟包括：分別對第一影像與第二影像進行特徵點偵測，而獲取第一影像的複數個第一特徵點與第二影像的複數個第二特徵點。比對這些第一特徵點的座標位置以及分別與這些第一特徵點相對應的這些第二特徵點的座標位置，以獲取第一特徵點與第二特徵點之間的複數個位移資訊。計算這些位移資訊而獲取第一影像與第二影像之間的相對旋轉角度。

在本發明的一實施例中，在上述的分別對第一影像與第二影像執行特徵點偵測，而獲取第一影像的複數個第一特徵點與第二影像的複數個第二特徵點的步驟之前，影像形變偵測方法更包括下列步驟。依據第一影像與第二影像的影像資訊判斷第一影像與該第二影像是否屬於相同的影像群組。當第一影像與第二影像屬於相同的影像群組，藉由當前校正參數對第一影像與第二影像進行影像糾正(image rectification)。

在本發明的一實施例中，上述的依據比對資訊判斷第一影像與第二影像之間的座標參數關係是否改變的步驟包括：當相對旋轉角度大於門檻值，判定第一影像與第二影像之間的座標參數關係改變。

在本發明的一實施例中，上述的第一影像感測器針對目標物而擷取第一影像，且第二影像感測器針對此目標物而擷取第二影像。上述的依據第一影像與第二影像執行形變偵測，以獲取 第一影像與第二影像之間的比對資訊的步驟包括：依據第一影像與第二影像進行三維深度估測，以產生目標物對應的深度資訊，並依據深度資訊取得關於目標物的深度對焦位置。藉由自動對焦程序而獲取得關於目標物的自動對焦位置。比較深度對焦位置與自動對焦位置而獲取焦距差異值。

在本發明的一實施例中，上述的依據比對資訊判斷第一影像與第二影像之間的座標參數關係是否改變的步驟包括：當焦距差異值大於門檻值，判定第一影像與第二影像之間的座標參數關係改變。

在本發明的一實施例中，上述的影像形變偵測方法更包括下列步驟。藉由當前校正參數對第一影像與第二影像進行影像糾正。當第一影像與第二影像之間的座標參數關係改變，對第一影像與第二影像進行動態扭曲(dynamic warping)程序，以校正第一影像與第二影像之間的座標參數關係。

從另一觀點來看，本發明提出一種影像擷取裝置。此影像擷取裝置具有第一影像感測器與第二影像感測器，且此影像擷取裝置還包括儲存單元以及處理單元。儲存單元記錄多個模組。處理單元耦接第一影像感測器、第二影像感測器及儲存單元，以存取並執行儲存單元中記錄的所述模組。所述模組包括擷取模組、形變偵測模組以及判斷模組。擷取模組透過第一影像感測器擷取第一影像，並透過第二影像感測器擷取第二影像。形變偵測模組依據第一影像與第二影像執行形變偵測，以獲取第一影像與 第二影像之間的比對資訊。判斷模組依據比對資訊判斷第一影像與第二影像之間的座標參數關係是否改變，其中座標參數關係關聯於第一影像感測器與第二影像感測器之間的空間設置關係。

在本發明的一實施例中，上述的儲存單元更儲存當前校正參數，且所述模組更包括動態扭曲模組。動態扭曲模組藉由當前校正參數對第一影像與第二影像進行影像糾正。當第一影像與第二影像之間的座標參數關係改變，動態扭曲模組對第一影像與第二影像進行動態扭曲程序，以校正第一影像與該第二影像之間的座標參數關係。

基於上述，在本發明之影像形變偵測方法的實施例中，可即時的偵測出是否有影像形變的情形發生。進一步來說，本發明之影像形變偵測方法可偵測當前用以校正第一影像與第二影像的校正參數是否可進行準確的校正。如此一來，在使用者操作影像擷取裝置的過程中，本發明之影像擷取裝置可自動且即時的進行形變偵測。基此，當偵測到發生形變時，可執行進一步的修正與改善，以避免繼續使用不符現況的校正參數來進行影像糾正，並同時提高深度資訊計算上的準確度。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧影像擷取裝置

110‧‧‧第一影像感測器

120‧‧‧第二影像感測器

130‧‧‧對焦單元

140‧‧‧處理單元

150‧‧‧儲存單元

151‧‧‧擷取模組

152‧‧‧形變偵測模組

153‧‧‧判斷模組

154‧‧‧動態扭曲模組

S201~S205‧‧‧本發明一實施例所述的影像形變偵測方法的各步驟

S301~S309‧‧‧本發明另一實施例所述的影像形變偵測方法的各步驟

S401~S407‧‧‧本發明又一實施例所述的影像形變偵測方法的各步驟

S501~S504‧‧‧本發明再一實施例所述的影像形變偵測方法的各步驟

圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。

圖2是依照本發明一實施例所繪示之影像形變偵測方法的流程圖。

圖3是依照本發明另一實施例所繪示之影像形變偵測方法的流程圖。

圖4是依照本發明又一實施例所繪示之影像形變偵測方法的流程圖。

圖5是依照本發明再一實施例所繪示之影像形變偵測方法的流程圖。

圖6A為依據本發明一實施例所繪示之未經動態扭曲程序的第一影像與第二影像的範例示意圖。

圖6B為依據本發明一實施例所繪示之經動態扭曲程序的第一影像與第二影像的範例示意圖。

在影像擷取裝置出廠時，其雙鏡頭的之間空間設置關係已經過精密的計算與調整，並依此產生一組工廠預設的校正參數。此工廠預設的校正參數用以將不同鏡頭所擷取的影像校正至具經設計且固定的座標參數關係。為了解決因雙鏡頭產生位移或旋轉而導致工廠預設的校正參數不再適用的情況，本發明即時的利用左右影像進行形變偵測，據以判斷是否有工廠預設的校正參 數或當前的校正參數已不再適用的狀況發生。為了使本發明之內容更為明瞭，以下列舉實施例作為本發明確實能夠據以實施的範例。

圖1是依照本發明之一實施例所繪示之影像擷取裝置的方塊圖。請參照圖1，本實施例的影像擷取裝置100例如是數位相機、數位攝影機，或是其他具有影像擷取功能的手持式電子裝置，像是智慧型手機、平板電腦等等，不限於上述。影像擷取裝置100包括第一影像感測單元110、第二影像感測單元120、對焦單元130、處理單元140以及儲存單元150。

第一影像感測單元110與第二影像感測單元120可包括鏡頭以及感光元件。感光元件例如是電荷耦合元件(Charge Coupled Device，CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor，CMOS)元件或其他元件，第一影像感測單元110與第二影像感測單元120還可包括光圈等，在此皆不設限。此外，依照第一影像感測單元110與第二影像感測單元120之鏡頭設置位置，第一影像感測單元110與第二影像感測單元120的鏡頭可區分為左鏡頭與右鏡頭。

於本實施例中，對焦單元130耦接第一影像感測單元110、第二影像感測單元120以及處理單元140，用以控制第一影像感測單元110與第二影像感測單元120的焦距。換言之，對焦單元130控制第一影像感測單元110的鏡頭與第二影像感測單元120的鏡頭移動至對焦位置。對焦單元130例如透過音圈馬達 (Voice Coil Motor，VCM)或其他不同類型的馬達來控制鏡頭的步數(step)位置，以改變第一影像感測單元110與第二影像感測單元120焦距。

處理單元140可以例如是中央處理單元(Central Processing Unit，CPU)、微處理器(Microprocessor)、特殊應用積體電路(Application Specific Integrated Circuits，ASIC)、可程式化邏輯裝置(Programmable Logic Device，PLD)或其他具備運算能力的硬體裝置。儲存單元150例如是隨機存取記憶體(random access memory)、快閃記憶體(Flash)或其他的記憶體，用以儲存資料與多個模組，而處理單元140耦接儲存單元150並用以執行這些模組。上述模組包括擷取模組151、形變偵測模組152、判斷模組153以及動態扭曲模組154，這些模組例如是電腦程式，其可載入處理單元140，從而執行偵測影像形變的功能。

圖2是依照本發明一實施例所繪示之影像形變偵測方法的流程圖。本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變偵測方法的詳細步驟。

首先，於步驟S201，擷取模組151透過第一影像感測器110擷取第一影像，並透過第二影像感測器120擷取第二影像。換言之，第一影像與第二影像可視為針對同一場景所擷取之對應至不同視角的左影像與右影像。再者，第一影像與第二影像例如是預覽狀態下所擷取的即時預覽影像(live-view image)。

需先說明的是，由於第一影像與第二影像藉由工廠預設的校正參數進行校正，因此於利用不同視角的第一影像與第二影像計算深度資訊時，第一影像與第二影像上對應的特徵點經由座標轉換計算後將投影至一參考座標系統下的相同座標點。倘若校正後的第一影像與第二影像上相互對應的特徵點未投影至一參考座標系統下之相同座標點，於此稱之為影像發生形變(deformation)。

從另一角度來看，工廠預設的校正參數適用於將兩張左右影像再分別進行影像糾正，讓兩張真實影像變成只有水平像差或只有垂直像差(因為鏡頭位置擺放的關係而造成的)。例如，雙鏡頭間會有角度仰角的差異等等。透過工廠預設的校正參數執行影像糾正，可以將真實影像轉換成左右鏡頭是擺放同一取像平面，只剩下水平或垂直位置有差異。也就是說，於左右鏡頭水平設置的前提下，經過影像糾正之左右影像上的各像素點應當只剩下水平位置有差異。此時，倘若左右鏡頭的拍攝方向產生改變，經過影像糾正之左右影像上的各像素點的垂直位置仍然具有差異，也稱之為影像發生形變。

於步驟S202，形變偵測模組152依據第一影像與第二影像執行形變偵測(deform detection)，以獲取第一影像與第二影像之間的比對資訊。需先說明的是，於一實施例中，在執行形變偵測之前，第一影像與第二影像可能已藉由工廠預設的校正參數進行校正。詳細來說，藉由本實施例之形變偵測可得知經過預設參 數校正的左影像與右影像是否有形變或歪斜的狀況發生，即當前的校正參數是否可將第一影像與第二影像校正為只有水平像差或只有垂直像差。其中，比對資訊可代表左影像與右影像的歪斜程度或形變程度。

於步驟S203，判斷模組153依據比對資訊判斷第一影像與第二影像之間的座標參數關係是否改變。若步驟S203判斷為否，於步驟S204，判斷模組153判定第一影像與第二影像之間的座標參數關係未改變。若步驟S203判斷為是，於步驟S205，判斷模組153判定第一影像與第二影像之間的座標參數關係已改變。需說明的是，此座標參數關係關聯於第一影像感測器110與第二影像感測器120之間的空間設置關係。

也就是說，當第一影像感測器110與第二影像感測器120之間的空間設置關係改變時，第一影像與第二影像的座標參數關係也會相對改變。倘若判斷模組153判定第一影像與第二影像之間的座標參數關係改變，代表第一影像感測器110與/或第二影像感測器120的鏡頭產生位移或旋轉，而工廠預設的校正參數或當前的校正參數已經不符現況。換言之，工廠預設的校正參數或當前的校正參數已經無法準確的對第一影像與第二影像進行影像糾正。基此，若能即時且正確的偵測出影像發生形變的狀況，影像擷取裝置100便可執行相對應的修正，避免重複使用不符現況的參數進行影像校正。

以下將列舉其他實施例，以詳細說明本發明如何利用第 一影像與第二影像來進行形變偵測。圖3是依照本發明另一實施例所繪示的一種影像形變偵測方法的流程圖。請參照圖3，本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變偵測方法的詳細步驟。

首先於步驟S301，擷取模組151透過第一影像感測器110擷取第一影像，並透過第二影像感測器120擷取第二影像。於步驟S302，形變偵測模組152依據第一影像與第二影像的影像資訊判斷第一影像與第二影像是否屬於相同的影像群組。影像資訊為擷取影像時所紀錄的拍攝資訊，例如是影像的解析度、焦距、曝光時間、攝影時間等。藉由影像資訊的比對，形變偵測模組152可據以得知第一影像與第二影像是否為同一時間針對同一場景所擷取的兩張影像。

也就是說，於本實施例中，單一影像群組具有兩張照片，同一影像群組內的影像是透過左鏡頭與右鏡頭於同一時間針對同一場景所擷取的兩張影像。當第一影像與第二影像屬於相同的影像群組，於步驟S303，形變偵測模組152藉由當前校正參數對第一影像與第二影像進行影像糾正，目的在於使第一影像與第二影像之間的座標參數關係能維持於利於計算深度資訊的狀態。

於步驟S304，形變偵測模組152分別對第一影像與第二影像進行特徵點偵測，而獲取第一影像的複數個第一特徵點與第二影像的複數個第二特徵點。特徵點偵測用以偵測出影像中的多數個特徵點，例如是邊緣偵測(edge detection)、角落偵測(coner detection)或其他特徵點偵測演算法，本發明對此並不限制。

於步驟S305，形變偵測模組152比對這些第一特徵點的座標位置以及分別與這些第一特徵點相對應的這些第二特徵點的座標位置，以獲取第一特徵點與第二特徵點之間的複數個位移資訊。舉例來說，基於雙鏡頭水平設置的前提下，第一影像與第二影像處於水平共線的狀態。因此第一特徵點與相對應之第二特徵點的垂直方向的座標分量應當相同。再者，各個第一特徵點與相對應之第各個二特徵點的水平方向的座標分量應當具有固定的差距，稱之為水平方向的像差。

因此，藉由比對特徵點的於第一影像與第二影像上的座標位置，可據以得知第一影像或第二影像之間的參數座標關係是否改變。舉例來說，基於雙鏡頭水平設置的前提下，倘若第一特徵點與相對應之第二特徵點的垂直方向的座標分量的位移量過大，代表第一影像或第二影像之間的參數座標關係改變，也代表第一影像感測模組110與第二影像感測模組的空間位置發生變動。也就是說，藉由分析與統計第一特徵點與第二特徵點之間的複數個位移資訊，可據以得知是否發生影像形變。

此外，於本實施例中，於步驟S306，形變偵測模組152更可以計算這些位移資訊而獲取第一影像與第二影像之間的相對旋轉角度。簡單來說，形變偵測模組152可依據這些對應至不同特徵點的位移量以及特徵點的座標位置而得知第一影像與第二影像之間的旋轉量，此影像間的旋轉量例如是因為鏡頭模組的旋轉 所造成。於是，於步驟S307，判斷模組153判斷相對旋轉角度是否大於門檻值。當相對旋轉角度大於門檻值，於步驟S308，判斷模組153判定第一影像與第二影像之間的座標參數關係改變。當相對旋轉角度並未大於門檻值，於步驟S309，判斷模組153判定第一影像與第二影像之間的座標參數關係未改變。

值得一提的是，於一本實施例中，形變偵測模組152還可判斷第一特徵點與相對應之第二特徵點投影至一參考座標底下的座標位置是否相符，並計算兩投影點(第一特徵點的投影點與第二特徵點的投影點)之間的投影位移量。當投影位移量大於門檻值，形變偵測模組152再藉由這些投影點所點對應的投影位移量來分析出第一影像與第二之間的座標參數關係。

圖4是依照本發明又一實施例所繪示的一種影像形變偵測方法的流程圖。請參照圖4，本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變偵測方法的詳細步驟。

首先於步驟S401，擷取模組151透過第一影像感測器110擷取第一影像，並透過第二影像感測器120擷取第二影像。其中，第一影像感測器110針對目標物而擷取第一影像，且第二影像感測器120針對目標物而擷取第二影像。具體而言，在本實施例中，選取目標物的方法例如可藉由對焦單元130接收使用者用以選取目標物的點選訊號，以選取目標物。舉例而言，使用者可以觸控方式或移動取像裝置到特定區域進行目標物的選取，但本發明不 以此為限。在其他可行的實施例中，選取目標物的方法亦可由對焦單元130進行物件偵測程序，以自動選取目標物，並取得目標物的座標位置。

於步驟S402，形變偵測模組152依據第一影像與第二影像進行三維深度估測，以產生目標物對應的深度資訊，並依據深度資訊取得關於目標物的深度對焦位置。具體來說，形變偵測模組152可藉由立體視覺技術進行影像處理，以求得目標物於空間中的三維座標位置以及影像中各點的深度資訊。再者，依據深度資訊取得關於目標物的深度對焦位置的步驟例如是依據深度資訊查詢深度對照表來取得關於目標物的對焦位置。

因此，藉由事先求得步進馬達的步數或音圈馬達的電流值與目標物清晰深度的對應關係，則可依據目前獲得的目標物的深度資訊查詢到此深度資訊所對應的步進馬達的步數或音圈馬達的電流值，並據此取得關於目標物的深度對焦位置。

接著，於步驟S403，形變偵測模組152藉由自動對焦程序而獲取得關於目標物的自動對焦位置。具體而言，執行自動對焦程序的過程可以是透過對焦單元130自動控制鏡頭模組進行大範圍的移動，以分別調整第一影像感測器110與第二影像感測器120的鏡頭至所需的對焦位置，以取得關於目標物的自動對焦位置。對焦單元130例如是利用自動對焦技術中所使用的爬山法(hill-climbing)來獲取關於目標物的自動對焦位置，但本發明並不以此為限。

於步驟S404，形變偵測模組152比較深度對焦位置與自動對焦位置而獲取焦距差異值。一般來說，在影像擷取裝置100未遭受撞擊時，影像擷取裝置100可獲取理想的深度資訊。一旦影像擷取裝置100遭受撞擊，第一影像感測器110與第二影像感測器120之間的空間設置關係將產生變動，影像擷取裝置100無法依據之前預設的校正參數來獲取理想的深度資訊，也就無法藉由深度資訊與事先儲存好的深度資訊查詢深度對照表估測出正確的深度對焦位置，因此深度對焦位置與藉由自動對焦程序所獲得的自動對焦位置將產生差異。

於是，於步驟S405，判斷模組153判斷焦距差異值是否大於門檻值。當焦距差異值大於門檻值，於步驟S406，判定第一影像與第二影像之間的座標參數關係改變。當焦距差異值並未大於門檻值，於步驟S407，判斷模組153判定第一影像與第二影像之間的座標參數關係並未改變。

值得一提的是，當影像擷取裝紙裝置100判定第一影像與第二影像之間的參數座標改變時，代表當前的校正參數已無法對影像進行準確的影像糾正。因此，影像擷取單元100的深度估測引擎已無法藉由雙鏡頭所擷取的影像來產生理想的深度資訊。基此，於本發明一實施例中，為了於影像擷取裝置100更新或修正當前的校正參數或工廠預設校正參數之前，影像形變偵測方法更包括對當下的第一影像與第二影像進行動態扭曲(dynamic warping)程序，以進一步修正第一影像與第二影像之間的座標參 數關係。

為了詳細說明影像擷取裝置如何針對當下的影像進行修正，圖5是依照本發明再一實施例所繪示的一種影像形變偵測方法的流程圖。請參照圖5，於本實施例中，假設影像擷取裝置100已藉由前述方式判斷影像是否發生形變，且本實施例的方法適用於圖1的影像擷取裝置100，以下即搭配影像擷取裝置100中的各構件說明本實施例影像形變偵測方法的詳細步驟。

首先，於步驟S501，動態扭曲模組154藉由當前校正參數對第一影像與第二影像進行影像糾正。具體來說，在影像擷取裝置100藉由深度估測器計算影像的深度資訊之前，會利用當前校正參數對第一影像與第二影像進行影像糾正，以將第一影像與第二影像校正至理想的空間對應關係，從而獲取正確的深度資訊。於步驟S502，動態扭曲模組154判斷第一影像與第二影像之間的座標參數關係是否改變。具體來說，動態扭曲模組154可藉由判斷模組153所產生的判斷結果來據以得知第一影像與第二影像之間的座標參數關係是否改變。其中，判斷影像是否發生形變的詳細內容已於圖2~圖4所示的實施例清楚說明，於此不再贅述。當第一影像與第二影像之間的座標參數關係改變，代表影像擷取裝置100已經無法透過當前的校正參數將第一影像與第二影像校正至理想的空間對應關係。

於是，當第一影像與第二影像之間的座標參數關係改變時，於步驟S503，動態扭曲模組154對第一影像與第二影像進行 動態扭曲程序，以校正第一影像與第二影像之間的座標參數關係。具體來說，動態扭曲程序的目的在於將第一影像與第二影像校正至理想的空間對應關係。舉例來說，將第一影像與第二影像校正至水平共線的狀態。

基於圖3所示的實施例可知，形變偵測模組152可藉由特徵點的位移量計算出第一影像與第二影像之間的旋轉量。同樣地，動態扭曲模組154也可藉由特徵點的位移量或影像間的旋轉量來尋找出一組最佳的參數調整資訊，以將第一影像與第二影像調整至理想的空間對應關係。舉例來說，動態扭曲模組154例如利用最佳化演算法與旋轉矩陣(rotation matrix)來尋找出最佳的旋轉調整角度，並依照此旋轉調整角度來旋轉左影像或右影像，致使兩影像可對應至理想的參數座標關係。最佳化演算法例如是梯度下降法(gradient decent method)、萊文貝格-馬夸特方法(Levenberg-Marquardt method，LM method)或高斯牛頓演算法(Gauss-Newton method)等，用以計算出最佳的旋轉調整參數。

再者，於本發明之實施例中，動態扭曲模組154可以第一影像為依據來調整第二影像，也可以第二影像為依據來調整第一影像，以將第一影像與第二影像調整至理想的空間對應關係。此外，於一實施例中，動態扭曲模組154也可同時調整第一影像與第二影像，以將第一影像與第二影像調整至理想的空間對應關係。

值得一提的是，於本實施例中，第一影像與第二影像已 經藉由當前的校正參數進行過影像糾正。因此，即使當前的校正參數無法將第一影像與第二影像校正至理想的狀態，但第一影像與第二影像之間的形變程度已經降低，以致尋找出最佳的參數調整資訊的運算量也可降低。舉例來說，若第一影像與第二影像未透過當前的校正參數進行過影像糾正，動態扭曲模組154可能需於+30度至-30度的範圍內尋找出最佳的旋轉調整角度。若第一影像與第二影像已透過當前的校正參數進行過影像糾正，動態扭曲模組154可能僅需於+5度至-5度的範圍內尋找出最佳的旋轉調整角度。

舉例來說，圖6A為依據本發明一實施例所繪示之未經動態扭曲程序的第一影像與第二影像的範例示意圖。圖6B為依據本發明一實施例所繪示之經動態扭曲程序的第一影像與第二影像的範例示意圖。參閱圖6A，當把未經動態扭曲程序的第一影像與第二影像疊合在一起時，倘若當前的校正參數已無法將第一影像與第二影像校正至理想的參數座標關係，一般而言第一影像與第二影像之間會有旋轉偏移。參閱圖6B，動態扭曲模組154例如可以第一影像為基準，第二影像就可以藉由動態扭曲程序調整至與第一影像具有相同的水平角度。

之後，於步驟S504，動態扭曲模組154藉由第一影像與第二影像獲取深度資訊。如此一來，在累積完整資訊以修正當前的校正參數的期間，動態扭曲模組154可針對單組影像進行適應性的微調，從而使調整後的第一影像與第二影像成為可用來計算 深度資訊的影像資訊。

綜上所述，本發明可即時的偵測出是否有影像形變的情形發生，以供影像擷取裝置執行相對應的修正或校正措施。也就是說，在使用者操作影像擷取裝置的過程中，本發明之影像擷取裝置可自動且即時的進行形變偵測，以進一步判定雙鏡頭是否產生旋轉或位移的現象。當偵測到發生形變時，本發明之影像擷取裝置可執行進一步的修正與改善，以避免繼續使用不符現況的校正參數來進行影像糾正。此外，於本發明一實施例中，當偵測到發生形變時，本發明之影像擷取裝置還可針對當下拍攝的單組影像進行動態扭曲程序，從而讓影像擷取裝置依然可獲取正確的深度資訊以進行下一步的應用，以確保影像拍攝品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

S201~S205‧‧‧本發明一實施例之影像形變偵測方法的各步驟

Claims (14)

1. 一種影像形變偵測方法，適用於具有一儲存單元、一第一影像感測器與一第二影像感測器的一影像擷取裝置，其中該第一影像感測器的一第一鏡頭與該第二影像感測器的一第二鏡頭以一空間設置關係而設置於該影像擷取裝置上，該影像形變偵測方法包括：透過該第一影像感測器擷取一第一影像，並透過該第二影像感測器擷取一第二影像；藉由一當前校正參數對該第一影像與該第二影像進行一影像糾正(image rectification)；依據進行該影像糾正後的該第一影像與該第二影像執行一形變偵測，以獲取該第一影像與該第二影像之間的一比對資訊；以及依據該比對資訊判斷該第一影像與該第二影像之間的一座標參數關係是否改變，從而判斷設置於該影像擷取裝置上之該第一鏡頭與該第二鏡頭之間的該空間設置關係是否與紀錄於該儲存單元中的該當前校正參數不相符，其中該座標參數關係關聯於該第一影像感測器與該第二影像感測器之間的該空間設置關係。
2. 如申請專利範圍第1項所述的影像形變偵測方法，其中依據進行該影像糾正後的該第一影像與該第二影像執行該形變偵測，以獲取該第一影像與該第二影像之間的該比對資訊的步驟包括： 分別對進行該影像糾正後的該第一影像與該第二影像進行一特徵點偵測，而獲取該第一影像的複數個第一特徵點與該第二影像的複數個第二特徵點；比對該些第一特徵點的座標位置以及分別與該些第一特徵點相對應的該些第二特徵點的座標位置，以獲取該些第一特徵點與該些第二特徵點之間的複數個位移資訊；以及計算該些位移資訊而獲取該第一影像與該第二影像之間的一相對旋轉角度。
3. 如申請專利範圍第2項所述的影像形變偵測方法，其中在分別對進行該影像糾正後的該第一影像與該第二影像執行一特徵點偵測，而獲取該第一影像的複數個第一特徵點與該第二影像的複數個第二特徵點的步驟之前，更包括：依據該第一影像與該第二影像的影像資訊判斷該第一影像與該第二影像是否屬於相同的一影像群組。
4. 如申請專利範圍第2項所述的影像形變偵測方法，其中依據該比對資訊判斷該第一影像與該第二影像之間的該座標參數關係是否改變的步驟包括：當該相對旋轉角度大於一門檻值，判定該第一影像與該第二影像之間的該座標參數關係改變。
5. 如申請專利範圍第1項所述的影像形變偵測方法，其中該第一影像感測器針對一目標物而擷取該第一影像，且該第二影像感測器針對該目標物而擷取該第二影像，而依據進行該影像糾正 後的該第一影像與該第二影像執行該形變偵測，以獲取該第一影像與該第二影像之間的該比對資訊的步驟包括：依據進行該影像糾正後的該第一影像與該第二影像進行一三維深度估測，以產生該目標物對應的一深度資訊，並依據該深度資訊取得關於該目標物的一深度對焦位置；藉由一自動對焦程序而獲取得關於該目標物的一自動對焦位置；以及比較該深度對焦位置與該自動對焦位置而獲取一焦距差異值。
6. 如申請專利範圍第5項所述的影像形變偵測方法，其中依據該比對資訊判斷該第一影像與該第二影像之間的該座標參數關係是否改變的步驟包括：當該焦距差異值大於一門檻值，判定該第一影像與該第二影像之間的該座標參數關係改變。
7. 如申請專利範圍第1項所述的影像形變偵測方法，更包括：當該第一影像與該第二影像之間的該座標參數關係改變，對該第一影像與該第二影像進行一動態扭曲(dynamic warping)程序，以校正該第一影像與該第二影像之間的該座標參數關係。
8. 一種影像擷取裝置，具有一第一影像感測器與一第二影像感測器，其中該第一影像感測器的一第一鏡頭與該第二影像感測器的一第二鏡頭以一空間設置關係而設置於該影像擷取裝置上，該影像擷取裝置包括： 一儲存單元，記錄多個模組；以及一處理單元，耦接該第一影像感測器、該第二影像感測器及該儲存單元，以存取並執行該儲存單元中記錄的所述模組，所述模組包括：一擷取模組，透過該第一影像感測器擷取一第一影像，並透過該第二影像感測器擷取一第二影像；一形變偵測模組，藉由一當前校正參數對該第一影像與該第二影像進行一影像糾正(image rectification)，依據進行該影像糾正後的該第一影像與該第二影像執行一形變偵測，以獲取該第一影像與該第二影像之間的一比對資訊；一判斷模組，依據該比對資訊判斷該第一影像與該第二影像之間的一座標參數關係是否改變，從而判斷設置於該影像擷取裝置上之該第一鏡頭與該第二鏡頭之間的該空間設置關係是否與紀錄於該儲存單元中的該當前校正參數不相符，其中該座標參數關係關聯於該第一影像感測器與該第二影像感測器之間的該空間設置關係。
9. 如申請專利範圍第8項所述的影像擷取裝置，其中該形變偵測模組分別對進行該影像糾正後的該第一影像與該第二影像進行一特徵點偵測，而獲取該第一影像的複數個第一特徵點與該第二影像的複數個第二特徵點，該形變偵測模組比對該些第一特徵點的座標位置以及分別與該些第一特徵點相對應的該些第二特徵點的座標位置，以獲取該些第一特徵點與該些第二特徵點之間的 複數個位移資訊，以及該形變偵測模組計算該些位移資訊而獲取該第一影像與該第二影像之間的一相對旋轉角度。
10. 如申請專利範圍第9項所述的影像擷取裝置，其中該形變偵測模組依據該第一影像與該第二影像的影像資訊判斷該第一影像與該第二影像是否屬於相同的一影像群組。
11. 如申請專利範圍第9項所述的影像擷取裝置，其中當該相對旋轉角度大於一門檻值，該判斷模組判定該第一影像與該第二影像之間的該座標參數關係改變。
12. 如申請專利範圍第8項所述的影像擷取裝置，其中該第一影像感測器針對一目標物而擷取該第一影像，且該第二影像感測器針對該目標物而擷取該第二影像，而該形變偵測模組依據進行該影像糾正後的該第一影像與該第二影像進行一三維深度估測，以產生該目標物對應的一深度資訊，該形變偵測模組依據該深度資訊取得關於該目標物的一深度對焦位置，該形變偵測模組藉由一自動對焦程序而獲取得關於該目標物的一自動對焦位置，且該形變偵測模組比較該深度對焦位置與該自動對焦位置而獲取一焦距差異值。
13. 如申請專利範圍第12項所述的影像擷取裝置，其中當該焦距差異值大於一門檻值，該判斷模組判定該第一影像與該第二影像之間的該座標參數關係改變。
14. 如申請專利範圍第8項所述的影像擷取裝置，其中該儲存單元更儲存一當前校正參數，且所述模組更包括： 一動態扭曲模組，當該第一影像與該第二影像之間的該座標參數關係改變，該動態扭曲模組對該第一影像與該第二影像進行一動態扭曲程序，以校正該第一影像與該第二影像之間的該座標參數關係。