TW201719579A - 影像擷取裝置及其產生深度資訊的方法與自動校正的方法 - Google Patents

影像擷取裝置及其產生深度資訊的方法與自動校正的方法 Download PDF

Info

Publication number
TW201719579A
TW201719579A TW104144379A TW104144379A TW201719579A TW 201719579 A TW201719579 A TW 201719579A TW 104144379 A TW104144379 A TW 104144379A TW 104144379 A TW104144379 A TW 104144379A TW 201719579 A TW201719579 A TW 201719579A
Authority
TW
Taiwan
Prior art keywords
image
lens
resolution
feature points
scene
Prior art date
Application number
TW104144379A
Other languages
English (en)
Other versions
TWI595444B (zh
Inventor
簡永飛
王煜智
周宏隆
莊哲綸
王耀笙
Original Assignee
聚晶半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聚晶半導體股份有限公司 filed Critical 聚晶半導體股份有限公司
Priority to US15/015,141 priority Critical patent/US20170155889A1/en
Publication of TW201719579A publication Critical patent/TW201719579A/zh
Application granted granted Critical
Publication of TWI595444B publication Critical patent/TWI595444B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一種影像擷取裝置及其產生深度資訊的方法與自動校正的方法。此些方法適用於具有雙鏡頭且無須模組廠調校(Alignment)的影像擷取裝置,並且包括下列步驟。利用雙鏡頭擷取一場景的影像,以產生此場景的第一影像及第二影像。偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算兩張影像之間的畫素偏移資訊,從而取得兩張影像之間的旋轉角度。根據畫素偏移資訊及旋轉角度,針對兩張影像進行影像扭轉程序,以分別產生相互對準的第一參考影像及第二參考影像。根據第一參考影像及第二參考影像,計算場景的深度資訊或是產生立體影像。

Description

影像擷取裝置及其產生深度資訊的方法與自動校正的方法
本發明是有關於一種影像擷取裝置,且特別是有關於一種影像擷取裝置及其產生深度資訊的方法與自動校正的方法。
隨著科技的發展,各式各樣的智慧型影像擷取裝置,舉凡平板型電腦、個人數位化助理、智慧型手機等,已成為現代人不可或缺的工具。其中,高階款的智慧型影像擷取裝置所搭載的相機鏡頭已經與傳統消費型相機不相上下,甚至可以取而代之,少數高階款更具有接近數位單眼的畫素和畫質或是拍攝三維影像的功能。
一般而言,工廠在生產具有雙鏡頭的影像擷取裝置時,雙鏡頭各自對應的空間位置無法精準地設置於預設的位置。因此,於生產的過程中,工廠往往會預先針對已設置的雙鏡頭模組進行測試以及校正,從而獲取一組工廠預設的校正參數。爾後,當使用者在使用影像擷取裝置的過程中,影像擷取裝置可利用工廠預設的校正參數來校正雙鏡頭所擷取的影像,以克服製程不夠精密的缺失。
然而,上述的測試以及校正程序往往會耗費大量的生產成本。此外,一般使用者在實際地使用上述影像擷取裝置時,影像擷取裝置往往會由於不慎摔落、撞擊、擠壓、溫度或濕度的變化等外在因素而導致雙鏡頭產生位移或旋轉等空間位置上的改變。一旦鏡頭產生位移或旋轉,工廠內部所預設的校正參數已經不再符合當前的應用狀況,影像擷取裝置也就無法獲取正確的深度資訊。舉例來說,如果立體影像擷取裝置的雙鏡頭間產生水平失衡的問題時,由於失衡之後拍攝出來的左右畫面水平不匹配,將進一步導致三維立體拍攝效果不佳。
有鑑於此,本發明提供一種影像擷取裝置及其產生深度資訊的方法與自動校正的方法,其可在無須經過影像擷取裝置的出廠前調校的前提下,即時地產生拍攝場景的深度資訊以及產生自動校正後的立體影像。
本發明提出一種影像擷取裝置產生深度資訊的方法,適用於具有第一鏡頭以及第二鏡頭並且無須預先校正的影像擷取裝置,包括下列步驟。首先,利用第一鏡頭以及第二鏡頭擷取一場景的影像,以產生此場景的第一影像及第二影像。偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊,從而取得第一影像與第二影像之間的旋轉角度。根據畫素偏移資訊及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生相互對準的第一參考影像及第二參考影像。根據第一參考影像以及第二參考影像,計算上述場景的深度資訊。
本發明提出一種影像擷取裝置自動校正的方法,適用於具有第一鏡頭以及第二鏡頭並且無須預先校正的影像擷取裝置,包括下列步驟。首先,利用第一鏡頭以及第二鏡頭擷取一場景的影像,以產生此場景的第一影像及第二影像。偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊,從而取得第一影像與第二影像之間的旋轉角度。根據畫素偏移資訊及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生相互對準的第一參考影像及第二參考影像。利用第一參考影像以及第二參考影像,產生上述場景的立體影像。
在本發明的一實施例中,上述偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊的步驟包括先偵測第一影像以及第二影像中的多個特徵點,又比對第一影像以及第二影像中的各個特徵點,以取得多個對應特徵點組合,再取得各個第一特徵點以及各個第二特徵點分別於第一影像以及第二影像中的畫素座標,據以計算第一影像與第二影像之間的畫素偏移資訊,其中各個對應特徵點組合包括各個第一特徵點以及各個第一特徵點所對應的第二特徵點。
在本發明的一實施例中,上述取得第一影像與第二影像之間的旋轉角度的步驟包括根據各個第一特徵點以及各個第二特徵點分別於第一影像以及第二影像中的畫素座標以及畫素偏移資訊,計算第一影像與第二影像之間的旋轉角度。
在本發明的一實施例中,上述根據畫素偏移資訊及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生相互對準的第一參考影像及第二參考影像的步驟包括根據畫素偏移資訊以及旋轉角度,校正第一影像以及第二影像至少之一者的畫素座標,以分別產生第一參考影像以及第二參考影像。
在本發明的一實施例中,上述根據第一參考影像以及第二參考影像,計算上述場景的深度資訊的步驟包括利用第一參考影像以及第二參考影像進行三維深度估測,以產生上述場景的深度資訊。
在本發明的一實施例中,當第一影像的解析度不等於第二影像的解析度時,在分別產生上述場景的第一影像以及第二影像的步驟之後,更包括調整第一影像的解析度以及第二影像的解析度其中至少之一者,以使第一影像的解析度與第二影像的解析度相同。
本發明另提出一種無須預先校正的影像擷取裝置,包括第一鏡頭、第二鏡頭、儲存單元以及一或多個處理單元。儲存單元耦接第一鏡頭以及第二鏡頭,用以儲存第一鏡頭以及第二鏡頭所擷取的影像。處理器耦接第一鏡頭、第二鏡頭以及記憶體,並且包括多個模組,其中所述模組包括影像擷取模組、特徵點偵測模組、影像扭轉模組以及影像處理模組。影像擷取模組用以利用第一鏡頭以及第二鏡頭擷取一場景的影像,以產生此場景的第一影像及第二影像。特徵點偵測模組用以偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊,從而取得第一影像與第二影像之間的旋轉角度。影像扭轉模組用以根據畫素偏移資訊及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生相互對準的第一參考影像及第二參考影像。深度計算模組用以根據第一參考影像以及第二參考影像,計算上述場景的深度資訊。
在本發明的一實施例中,上述的影像擷取裝置更包括影像調整模組,當第一影像的解析度不等於第二影像的解析度時,影像調整模組用以調整第一影像的解析度以及第二影像的解析度其中至少之一者,以使第一影像的解析度與第二影像的解析度相同。
在本發明的一實施例中,上述的影像擷取裝置更包括深度計算模組,用以根據第一參考影像以及第二參考影像,計算上述場景的深度資訊。
在本發明的一實施例中,上述第一鏡頭與第二鏡頭具有不同的光學特性或是不同的解析度。
在本發明的一實施例中,上述第一鏡頭與第二鏡頭具有相同的光學特性以及相同的解析度。
基於上述,本發明所提出的影像擷取裝置及其產生深度資訊的方法與自動校正的方法中,其可在影像擷取裝置利用雙鏡頭擷取兩張影像後,利用特徵點的偵測來取得兩張影像之間的畫素偏移資訊以及旋轉角度,據以對準兩張影像,從而取得拍攝場景的深度資訊以及產生立體影像。本發明的影像擷取裝置無須經過出廠前校正,即可即時地產生拍攝場景的深度資訊以及產生自動校正後的立體影像,以節省大量的生產成本。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
本發明的部份實施例接下來將會配合附圖來詳細描述,以下的描述所引用的元件符號,當不同附圖出現相同的元件符號將視為相同或相似的元件。這些實施例只是本發明的一部份,並未揭示所有本發明的可實施方式。更確切的說,這些實施例只是本發明的專利申請範圍中的裝置與方法的範例。
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖,但此僅是為了方便說明,並不用以限制本發明。首先圖1先介紹影像擷取裝置之所有構件以及配置關係,詳細功能將配合圖2一併揭露。本發明的影像擷取裝置無須經過模組廠調校,即可即時地產生拍攝場景的深度資訊以及產生自動校正後的立體影像,以節省大量的生產成本。
請參照圖1,影像擷取裝置100包括第一鏡頭110a、第二鏡頭110b、記憶體115以及一或多個處理器120。在本實施例中,影像擷取裝置100例如是數位相機、單眼相機、數位攝影機或是其他具有影像擷取功能的智慧型手機、平板電腦、個人數位助理等電子裝置,本發明不以此為限。
第一鏡頭110a以及第二鏡頭110b包括感光元件,用以分別感測進入第一鏡頭110a以及第二鏡頭110b的光線強度,進而分別產生影像。所述的感光元件例如是電荷耦合元件(Charge Coupled Device,CCD)、互補性氧化金屬半導體(Complementary Metal-Oxide Semiconductor,CMOS)元件或其他元件。在本實施例中,第一鏡頭110a以及第二鏡頭110b為具有相同解析度以及相同光學特性的兩個鏡頭。然而,在其它的實施例中,第一鏡頭110a以及第二鏡頭110b為具有不同解析度或者是不同焦段、感光尺寸、變形程度等光學特性的兩個鏡頭。舉例來說,第一鏡頭110a可以是遠攝鏡頭(Telephoto Lens),而第二鏡頭110b可以是廣角鏡頭(Wide-angle Lens);或者第一鏡頭110a可以是具有高解析度的鏡頭,而第二鏡頭110b可以是具有低解析度的鏡頭。
記憶體115例如是任意型式的固定式或可移動式隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(Flash Memory)、硬碟或其他類似裝置或這些裝置的組合。記憶體115耦接至第一鏡頭110a以及第二鏡頭110b,用以儲存第一鏡頭110a以及第二鏡頭110b所擷取的影像。
處理器120可以例如是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、數位訊號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuits,ASIC)、可程式化邏輯裝置(Programmable Logic Device,PLD)或其他類似裝置或這些裝置的組合。處理器120耦接第一鏡頭110a、第二鏡頭110b以及記憶體115,其例如包括影像擷取模組122、特徵點偵測模組124、影像扭轉模組126以及深度計算模組128,以根據影像擷取裝置100所擷取的影像產生深度資訊。以下即列舉實施例說明針對影像擷取裝置100產生深度資訊的方法的詳細步驟。
圖2為根據本發明之一實施例所繪示的影像擷取裝置的影像對準及產生深度資訊的方法流程圖,而圖2的方法可以圖1的影像擷取裝置100的各元件實現。
請同時參照圖1以及圖2,首先,影像擷取裝置100的影像擷取模組122將利用第一鏡頭110a以及第二鏡頭110b擷取一場景的影像,以分別產生上述場景的第一影像以及第二影像(步驟S202)。詳細來說,影像擷取模組122分別利用第一鏡頭110a以及第二鏡頭110b所擷取的第一影像以及第二影像為利用不同視角針對同一場景所擷取的兩張影像,其可以例如是預覽狀態下所擷取的即時預覽影像(Live-view Image)。在此,第一鏡頭110a以及第二鏡頭110b例如是採用相同的參數擷取影像,而所述參數包括焦距、光圈、快門、白平衡等,本實施例並不設限。
接著,特徵點偵測模組124將偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊,從而取得第一影像與第二影像之間的旋轉角度(步驟S204),其中前述的各個第一特徵點具有與其所相對應的第二特徵點。
詳細來說,特徵點偵測模組124可利用邊緣偵測(Edge Detection)、角偵測(Corner Detection)、區域偵測(Blob Detection) 或其它特徵點偵測演算法(Feature Detection Algorithm)來偵測出第一影像以及第二影像中的多個特徵點。接著,特徵點偵測模組124將會自第一影像以及第二影像中所偵測出的特徵點進行比對,以依據特徵點與鄰近點的色彩資訊從第一影像以及第二影像中找出多組對應特徵點組合。特徵點偵測模組124在比對出每一組對應特徵點組合的第一特徵點以及第二特徵點後,將取得其在第一影像以及第二影像中的畫素座標,據以計算第一影像與第二影像之間的畫素偏移資訊。在此,第一影像與第二影像之間的畫素偏移資訊即代表第一鏡頭110a以及/或第二鏡頭110b的位移程度。
具體來說,由於第一影像以及第二影像是利用具有不同視角的第一鏡頭110a以及第二鏡頭110b所擷取的影像,在理想狀態下,第一影像以及第二影像中相對應的第一特徵點以及第二特徵點在經由座標轉換後將投影至參考座標系統下的相同座標點。反之,若第一影像以及第二影像上相對應的特徵點未投影至參考座標系統下的相同座標點,則特徵點偵測模組124將會取得每組對應特徵點組合的偏移量,以在後續的步驟中依此進行影像對準的程序。
以另一觀點來看,由於第一鏡頭110a以及第二鏡頭110b的位置設置,在理想狀態下的第一影像以及第二影像中僅會存在水平像差或是垂直像差。假設第一鏡頭110a以及第二鏡頭110b為分別設置於同一取像平面的左右鏡頭,則第一影像以及第二影像應當僅存在水平位置的差異。因此,若第一影像以及第二影像上相對應的特徵點存在垂直位置的差異,則特徵點偵測模組124將會取得每組對應特徵點組合的垂直偏移量,以在後續的步驟中依此進行影像對準的程序。
一般而言,鏡頭在發生位移時,往往會伴隨著旋轉。因此,特徵點偵測模組124在取得第一影像與第二影像的畫素座標以及兩者之間的畫素偏移資訊,會更進一步地計算出第一影像與第二影像之間的旋轉角度,以得知第一鏡頭110a以及/或第二鏡頭110b的旋轉程度。
之後,影像扭轉模組126將根據畫素偏移資訊以及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生第一參考影像以及第二參考影像,其中第一參考影像與第二參考影像互相對準(步驟S206)。換句話說,影像扭轉模組126將根據畫素偏移資訊以及旋轉角度,校正第一影像以及/或第二影像的影像座標,以使校正後的影像得以對準。亦即,校正後所產生的第一參考影像以及第二參考影像在經由座標轉換後將投影至參考座標系統下的相同座標點。以另一觀點來看,假設第一鏡頭110a以及第二鏡頭110b為分別設置於同一取像平面的左右鏡頭,影像扭轉後所產生的第一參考影像以及第二參考影像僅會存在水平像差。
接著,深度計算模組128將利用第一參考影像以及第二參考影像進行三維深度估測,以產生前述場景的深度資訊(步驟S208)。具體來說,深度計算模組128可針對第一參考影像以及第二參考影像中的各個畫素進行立體比對(Stereo Matching),以取得各個畫素所對應的深度資訊。此外,深度計算模組128更可以例如是深度圖(Depth Map)的形式將深度資訊記錄於記憶體115中,以做為影像處理的應用。
附帶一提的是,在另一實施例中,當第一鏡頭110a不同於第二鏡頭110b時,影像擷取裝置100更包括影像調整模組(未繪示),用以調整第一影像以及第二影像。舉例來說,當第一影像的解析度與第二影像的解析度不相同時,影像調整模組可以在影像擷取模組122於步驟S202中擷取第一影像以及第二影像後,將第一影像以及第二影像調整為相同解析度的兩張影像,以利於後續步驟的偵測以及計算更為精準。
圖3是根據本發明另一實施例所繪示之影像擷取裝置的方塊圖,但此僅是為了方便說明,並不用以限制本發明。
請參照圖3,影像擷取裝置300包括第一鏡頭310a、第二鏡頭310b、記憶體315以及處理器320,其類似於圖1中的第一鏡頭310a、第二鏡頭310b、記憶體315以及處理器320,詳細說明請參照前述相關段落,於此不再贅述。影像擷取裝置300的處理器320包括影像擷取模組322、特徵點偵測模組324、影像扭轉模組326以及影像處理模組328,以針對影像擷取裝置300所擷取的影像進行即時的自動校正。以下即列舉實施例說明針對影像擷取裝置300進行自動校正的方法的詳細步驟。
圖4為根據本發明之一實施例所繪示的影像擷取裝置的自動校正的方法流程圖,而圖4的方法可以圖3的影像擷取裝置300的各元件實現。
首先,影像擷取裝置300的影像擷取模組322將利用第一鏡頭310a以及第二鏡頭310b擷取一場景的影像,以分別產生上述場景的第一影像以及第二影像(步驟S402)。接著,特徵點偵測模組324將偵測第一影像中的多個第一特徵點以及第二影像中的多個第二特徵點,以計算第一影像與第二影像之間的畫素偏移資訊,從而取得第一影像與第二影像之間的旋轉角度(步驟S404)。之後,影像扭轉模組326將根據畫素偏移資訊以及旋轉角度,針對第一影像以及第二影像進行影像扭轉程序,以分別產生第一參考影像以及第二參考影像,其中第一參考影像與第二參考影像互相對準(步驟S406)。步驟S402、S404以及S406的處理方式請參照前述段落有關於步驟S202、S204以及S206的相關說明,於此不再贅述。
接著,影像處理模組328將利用第一參考影像以及第二參考影像,產生上述場景的立體影像(步驟S408)。在本實施例中,第一參考影像與第二參考影像相互對準後,影像處理模組328可以是直接輸出第一參考影像以及第二參考影像來做為立體影像。在另一實施例中,影像處理模組328更可進一步地調整第一參考影像以及/或第二參考影像的色彩、亮度等參數,以產生兩張色彩、亮度上相匹配的影像,從而產生出自然調和的立體影像。
類似於圖2的實施例,影像擷取裝置300更可包括影像調整模組(未繪示),其功能與影像擷取裝置300的影像調整模組相同,於此不再贅述。
前述產生深度資訊的方法以及自動校正的方法可利用圖5依據本發明一實施例所繪示的功能方塊圖來進行總結。
首先,在影像擷取程序502中,將利用雙鏡頭擷取一場景的影像,以分別產生第一影像A以及第二影像B。接著,在特徵點偵測程序504中,將偵測出第一影像A與第二影像B中相對應的特徵點,以計算出第一影像A與第二影像B之間的畫素偏移資訊以及旋轉角度,其中特徵點a1~a3分別對應特徵點b1~b3。在影像扭轉程序506中,將根據第一影像A與第二影像B之間的畫素偏移資訊以及旋轉角度,分別產生相互對準的第一參考影像A’以及第二參考影像B’。
在一實施例中,在產生第一參考影像A’以及第二參考影像B’後,將進入深度計算程序508,以根據第一參考影像A’以及第二參考影像B’計算上述場景的深度資訊d。
在另一實施例中,在產生第一參考影像A’以及第二參考影像B’後,將進入影像處理程序510,以利用第一參考影像A’以及第二參考影像B’產生立體影像S。
在又一實施例中,影像處理程序610亦可接續於深度計算程序608之後,也就是說深度資訊d亦可做為產生立體影像S的依據之一。以另一觀點來看,此實施例亦是影像擷取裝置100與影像擷取裝置300的整合。
綜上所述,本發明所提出的影像擷取裝置及其產生深度資訊的方法與自動校正的方法中,其可在影像擷取裝置利用雙鏡頭擷取兩張影像後,利用特徵點的偵測來取得兩張影像之間的畫素偏移資訊以及旋轉角度,據以對準兩張影像,從而取得拍攝場景的深度資訊以及產生立體影像。本發明的影像擷取裝置無須經過模組廠調校,即可即時地產生拍攝場景的深度資訊以及產生自動校正後的立體影像,以節省大量的生產成本。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、300‧‧‧影像擷取裝置
110a、310a‧‧‧第一鏡頭
110b、310b‧‧‧第二鏡頭
115、315‧‧‧記憶體
120、320‧‧‧處理器
122、322‧‧‧影像擷取模組
124、324‧‧‧特徵點偵測模組
126、326‧‧‧影像扭轉模組
128‧‧‧深度計算模組
328‧‧‧影像處理模組
S202~S208‧‧‧產生深度資訊的方法流程
S402~S408‧‧‧自動校正的方法流程
602~610‧‧‧產生深度資訊以及自動校正的方法流程
A‧‧‧第一影像
B‧‧‧第二影像
a1~a3、b1~b3‧‧‧特徵點
A’‧‧‧第一參考影像
B’‧‧‧第二參考影像
d‧‧‧深度資訊
S‧‧‧立體影像
圖1是根據本發明一實施例所繪示之影像擷取裝置的方塊圖。 圖2為根據本發明之一實施例所繪示的影像擷取裝置的產生深度資訊的方法流程圖。 圖3是根據本發明另一實施例所繪示之影像擷取裝置的方塊圖。 圖4為根據本發明之一實施例所繪示的影像擷取裝置的自動校正的方法流程圖。 圖5為根據本發明之一實施例所繪示的影像擷取裝置的產生深度資訊的方法以及自動校正的方法功能方塊圖。
S202~S208‧‧‧產生深度資訊的方法流程

Claims (20)

  1. 一種產生深度資訊的方法,適用於具有第一鏡頭以及第二鏡頭並且無須經過模組廠調校(alignment)的影像擷取裝置,該方法包括下列步驟: 利用該第一鏡頭以及該第二鏡頭擷取一場景的影像,以分別產生該場景的第一影像以及第二影像; 偵測該第一影像中的多個第一特徵點以及該第二影像中的多個第二特徵點,以計算該第一影像與該第二影像之間的畫素偏移資訊,從而取得該第一影像與該第二影像之間的旋轉角度,其中所述第一特徵點對應於所述第二特徵點; 根據該畫素偏移資訊以及該旋轉角度,針對該第一影像以及該第二影像進行影像扭轉(warping)程序,以分別產生第一參考影像以及第二參考影像,其中該第一參考影像與該第二參考影像互相對準;以及 根據該第一參考影像以及該第二參考影像,計算該場景的深度資訊。
  2. 如申請專利範圍第1項所述的方法,其中偵測該第一影像中的所述第一特徵點以及該第二影像中的所述第二特徵點,以計算該第一影像與該第二影像之間的該畫素偏移資訊的步驟包括:   偵測該第一影像以及該第二影像中的多個特徵點; 比對該第一影像以及該第二影像中的各所述特徵點,以取得多個對應特徵點組合,其中各所述對應特徵點組合包括各所述第一特徵點以及各所述第一特徵點所對應的該第二特徵點;以及 取得各所述第一特徵點以及各所述第二特徵點分別於該第一影像以及該第二影像中的畫素座標,據以計算該第一影像與該第二影像之間的該畫素偏移資訊。
  3. 如申請專利範圍第2項所述的方法,其中取得該第一影像與該第二影像之間的該旋轉角度的步驟包括:   根據各所述第一特徵點以及各所述第二特徵點分別於該第一影像以及該第二影像中的所述畫素座標以及該畫素偏移資訊,計算該第一影像與該第二影像之間的該旋轉角度。
  4. 如申請專利範圍第2項所述的方法,其中根據該畫素偏移資訊以及該旋轉角度,針對該第一影像以及該第二影像進行該影像扭轉程序,以分別產生該第一參考影像以及該第二參考影像的步驟包括:   根據該畫素偏移資訊以及該旋轉角度,校正該第一影像以及該第二影像至少之一者的所述畫素座標,以分別產生該第一參考影像以及該第二參考影像。
  5. 如申請專利範圍第1項所述的方法,其中根據該第一參考影像以及該第二參考影像,計算該場景的該深度資訊的步驟包括: 利用該第一參考影像以及該第二參考影像進行三維深度估測,以產生該場景的該深度資訊。
  6. 如申請專利範圍第1項所述的方法,其中當該第一影像的解析度不等於該第二影像的解析度時,在分別產生該場景的該第一影像以及該第二影像的步驟之後,該方法更包括:   調整該第一影像的解析度以及該第二影像的解析度其中至少之一者,以使該第一影像的該解析度與該第二影像的該解析度相同。
  7. 如申請專利範圍第1項所述的方法,其中該第一鏡頭與該第二鏡頭具有不同的光學特性或是不同的解析度。
  8. 如申請專利範圍第1項所述的方法,其中該第一鏡頭與該第二鏡頭具有相同的光學特性以及相同的解析度。
  9. 一種自動校正的方法,適用於具有第一鏡頭以及第二鏡頭並且無須預經過模組廠調校(alignment)的影像擷取裝置,該方法包括下列步驟: 利用該第一鏡頭以及該第二鏡頭擷取一場景的影像,以分別產生該場景的第一影像以及第二影像; 偵測該第一影像中的多個第一特徵點以及該第二影像中的多個第二特徵點,以計算該第一影像與該第二影像之間的畫素偏移資訊,從而取得該第一影像與該第二影像之間的旋轉角度,其中所述第一特徵點對應於所述第二特徵點; 根據該畫素偏移資訊以及該旋轉角度,針對該第一影像以及該第二影像進行影像扭轉程序,以分別產生第一參考影像以及第二參考影像,其中該第一參考影像與該第二參考影像互相對準;以及 利用該第一參考影像以及該第二參考影像,產生該場景的立體影像。
  10. 如申請專利範圍第9項所述的方法,其中偵測該第一影像中的所述第一特徵點以及該第二影像中的所述第二特徵點,以計算該第一影像與該第二影像之間的該畫素偏移資訊的步驟包括:   偵測該第一影像以及該第二影像中的多個特徵點; 比對該第一影像以及該第二影像中的各所述特徵點,以取得多個對應特徵點組合,其中各所述對應特徵點組合包括各所述第一特徵點以及各所述第一特徵點所對應的該第二特徵點;以及 取得各所述第一特徵點以及各所述第二特徵點分別於該第一影像以及該第二影像中的畫素座標,據以計算該第一影像與該第二影像之間的該畫素偏移資訊。
  11. 如申請專利範圍第10項所述的方法,其中取得該第一影像與該第二影像之間的該旋轉角度的步驟包括:   根據各所述第一特徵點以及各所述第二特徵點分別於該第一影像以及該第二影像中的所述畫素座標以及該畫素偏移資訊,計算該第一影像與該第二影像之間的該旋轉角度。
  12. 如申請專利範圍第10項所述的方法,其中根據該畫素偏移資訊以及該旋轉角度,針對該第一影像以及該第二影像進行該影像扭轉程序,以分別產生該第一參考影像以及該第二參考影像的步驟包括:   根據該畫素偏移資訊以及該旋轉角度,校正該第一影像以及該第二影像至少之一者的所述畫素座標,以分別產生該第一參考影像以及該第二參考影像。
  13. 如申請專利範圍第9項所述的方法,其中當該第一影像的解析度不等於該第二影像的解析度時,在分別產生該場景的該第一影像以及該第二影像的步驟之後,該方法更包括:   調整該第一影像的解析度以及該第二影像的解析度其中至少之一者,以使該第一影像的該解析度與該第二影像的該解析度相同。
  14. 如申請專利範圍第9項所述的方法,其中該第一鏡頭與該第二鏡頭具有不同的光學特性或是不同的解析度。
  15. 如申請專利範圍第9項所述的方法,其中該第一鏡頭與該第二鏡頭具有相同的光學特性以及相同的解析度。
  16. 一種無須經過模組廠調校的影像擷取裝置,包括:   第一鏡頭;   第二鏡頭;   記憶體,儲存該第一鏡頭以及該第二鏡頭所擷取的影像;以及;   處理器,耦接該第一鏡頭、該第二鏡頭以及該記憶體,並且包括多個模組,所述模組包括:     影像擷取模組,利用該第一鏡頭以及該第二鏡頭擷取一場景的影像,以分別產生該場景的第一影像以及第二影像;     特徵點偵測模組,偵測該第一影像中的多個第一特徵點以及該第二影像中的多個第二特徵點,以計算該第一影像與該第二影像之間的畫素偏移資訊,從而取得該第一影像與該第二影像之間的旋轉角度,其中所述第一特徵點對應於所述第二特徵點;     影像扭轉模組,根據該畫素偏移資訊以及該旋轉角度,針對該第一影像以及該第二影像進行影像扭轉程序,以分別產生第一參考影像以及第二參考影像,其中該第一參考影像與該第二參考影像互相對準;以及     影像處理模組,利用該第一參考影像以及該第二參考影像,產生該場景的立體影像。
  17. 如申請專利範圍第16項所述的影像擷取裝置更包括: 影像調整模組,當該第一影像的解析度不等於該第二影像的解析度時,調整該第一影像的解析度以及該第二影像的解析度其中至少之一者,以使該第一影像的該解析度與該第二影像的該解析度相同。
  18. 如申請專利範圍第16項所述的影像擷取裝置更包括:   深度計算模組,根據該第一參考影像以及該第二參考影像,計算該場景的深度資訊。
  19. 如申請專利範圍第16項所述的影像擷取裝置,其中該第一鏡頭與該第二鏡頭具有不同的光學特性或是不同的解析度。
  20. 如申請專利範圍第16項所述的影像擷取裝置,其中該第一鏡頭與該第二鏡頭具有相同的光學特性以及相同的解析度。
TW104144379A 2015-11-30 2015-12-30 影像擷取裝置及其產生深度資訊的方法與自動校正的方法 TWI595444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/015,141 US20170155889A1 (en) 2015-11-30 2016-02-04 Image capturing device, depth information generation method and auto-calibration method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201562260645P 2015-11-30 2015-11-30

Publications (2)

Publication Number Publication Date
TW201719579A true TW201719579A (zh) 2017-06-01
TWI595444B TWI595444B (zh) 2017-08-11

Family

ID=59106549

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104144379A TWI595444B (zh) 2015-11-30 2015-12-30 影像擷取裝置及其產生深度資訊的方法與自動校正的方法

Country Status (2)

Country Link
CN (1) CN106817575A (zh)
TW (1) TWI595444B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977829B2 (en) 2018-12-07 2021-04-13 Industrial Technology Research Institute Depth camera calibration device and method thereof
TWI784330B (zh) * 2020-10-21 2022-11-21 財團法人工業技術研究院 物件追蹤方法及其處理裝置與系統

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391764A (zh) * 2017-08-10 2019-02-26 聚晶半导体股份有限公司 双摄像头图像获取装置及其摄像方法
CN111405214B (zh) * 2019-01-02 2022-05-24 奇景光电股份有限公司 影像处理电路
TWI761128B (zh) * 2019-09-02 2022-04-11 宏達國際電子股份有限公司 雙鏡頭成像模組及其擷取方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4911230B2 (ja) * 2010-02-01 2012-04-04 カシオ計算機株式会社 撮影装置、並びに制御プログラム及び制御方法
TWI532009B (zh) * 2010-10-14 2016-05-01 華晶科技股份有限公司 產生淺景深影像的方法及裝置
TWI462569B (zh) * 2011-04-22 2014-11-21 Mstar Semiconductor Inc 三維影像攝相機及其相關控制方法
US20130202191A1 (en) * 2012-02-02 2013-08-08 Himax Technologies Limited Multi-view image generating method and apparatus using the same
JP5843751B2 (ja) * 2012-12-27 2016-01-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US20140347350A1 (en) * 2013-05-23 2014-11-27 Htc Corporation Image Processing Method and Image Processing System for Generating 3D Images
CN104811680B (zh) * 2014-01-28 2017-04-12 聚晶半导体股份有限公司 图像获取装置及其图像形变校正方法
CN104977795A (zh) * 2014-04-08 2015-10-14 立普思股份有限公司 立体摄影系统及其方法
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10977829B2 (en) 2018-12-07 2021-04-13 Industrial Technology Research Institute Depth camera calibration device and method thereof
TWI784330B (zh) * 2020-10-21 2022-11-21 財團法人工業技術研究院 物件追蹤方法及其處理裝置與系統
US11568550B2 (en) 2020-10-21 2023-01-31 Industrial Technology Research Institute Method, processing device, and system for object tracking

Also Published As

Publication number Publication date
CN106817575A (zh) 2017-06-09
TWI595444B (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
US20200288059A1 (en) Image processor, image processing method and program, and imaging system
CN106875339B (zh) 一种基于长条形标定板的鱼眼图像拼接方法
TWI520098B (zh) 影像擷取裝置及其影像形變偵測方法
TWI595444B (zh) 影像擷取裝置及其產生深度資訊的方法與自動校正的方法
TWI554103B (zh) 影像擷取裝置及其數位變焦方法
US9774837B2 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
TWI511081B (zh) 影像擷取裝置及其影像形變校正方法
TWI494680B (zh) 影像擷取裝置及其影像形變校正方法
US20170155889A1 (en) Image capturing device, depth information generation method and auto-calibration method thereof
TWI761684B (zh) 影像裝置的校正方法及其相關影像裝置和運算裝置
TWI616715B (zh) 多鏡頭模組的調校方法及其系統
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
WO2021129437A1 (zh) 一种无需白图像的光场相机检校方法及系统
WO2016029465A1 (zh) 一种图像处理方法、装置及电子设备
US20150245003A1 (en) White balance compensation method and electronic apparatus using the same
TWI545936B (zh) 電子裝置及其校正方法
TWI538476B (zh) 立體攝影系統及其方法
US9196020B2 (en) Systems and methods for digital correction of aberrations produced by tilted plane-parallel plates or optical wedges
CN111292380B (zh) 图像处理方法及装置
TW202038185A (zh) 影像的修正方法及其裝置
CN104811688B (zh) 图像获取装置及其图像形变检测方法
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
KR20180083245A (ko) 멀티 카메라의 정보 처리 장치 및 방법
CN112634337B (zh) 一种图像处理方法及装置
CN107544205B (zh) 多镜头模块的调校方法及其系统