TWI521255B - 自動對焦方法、其自動對焦裝置和其影像擷取裝置 - Google Patents

自動對焦方法、其自動對焦裝置和其影像擷取裝置 Download PDF

Info

Publication number
TWI521255B
TWI521255B TW102143883A TW102143883A TWI521255B TW I521255 B TWI521255 B TW I521255B TW 102143883 A TW102143883 A TW 102143883A TW 102143883 A TW102143883 A TW 102143883A TW I521255 B TWI521255 B TW I521255B
Authority
TW
Taiwan
Prior art keywords
depth
scenes
maps
depth information
depth map
Prior art date
Application number
TW102143883A
Other languages
English (en)
Other versions
TW201520633A (zh
Inventor
陳昭宇
黃志雄
Original Assignee
光寶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 光寶科技股份有限公司 filed Critical 光寶科技股份有限公司
Priority to TW102143883A priority Critical patent/TWI521255B/zh
Priority to CN201410110681.7A priority patent/CN104683685B/zh
Priority to US14/490,131 priority patent/US9686461B2/en
Publication of TW201520633A publication Critical patent/TW201520633A/zh
Application granted granted Critical
Publication of TWI521255B publication Critical patent/TWI521255B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Description

自動對焦方法、其自動對焦裝置和其影像擷取裝置
本發明是有關於一種影像擷取裝置,且特別是一種用於具有複數個相機的影像擷取裝置的自動對焦方法,以及使用上述自動對焦方法的自動對焦裝置和影像擷取裝置。
目前影像擷取裝置多半為數位式影像擷取裝置,其好處在於可以透過軟體、硬體與韌體的至少其中之一的協助來自動地尋找對焦距離,以使得攝影者可以拍攝清晰的場景。請參照圖1,圖1是用於單一鏡頭的影像擷取裝置的傳統自動對焦方法於每一次鏡頭移動後的聚焦測量值與移動步數索引值的曲線圖。用於單一鏡頭的影像擷取裝置的傳統自動對焦方法會逐步地移動鏡頭,以調整鏡頭對焦距離,並獲得對應的聚焦測量值,例如圖像的對比度或清晰度。傳統自動對焦方法可以透過上述逐步移動鏡頭的方式來找出最大聚焦測量值所對應的對焦距離,而此具有最大聚焦測量值的對焦距離即可能為正確的對焦距離。
以圖1來說,傳統自動對焦方法在前面七次移動鏡頭的過程中,當前一次移動鏡頭後所獲得的聚焦測量值皆大於其前一次移動鏡頭後所獲得的聚焦測量值。然而,在第八次移動鏡頭後所獲得的聚焦測量值卻小於第七次移動鏡頭後所獲得的聚焦測量值, 因此,傳統自動對焦方法會認為第七次移動鏡頭後所對應的對焦距離可能為影像擷取裝置拍攝目前場景所對應的正確對焦距離,故會將第七次移動鏡頭後所對應的對焦距離設為影像擷取裝置拍攝目前場景所使用的對焦距離,以藉此完成傳統自動對焦方法。然而,上述傳統自動對焦方法於此例中需要擷取八張圖像,故其自動對焦的速度仍不夠快速。另外一方面,由於上述傳統自動對焦方法需要移動多次鏡頭,故此自動對焦的過程可能會累積致動器的移動公差。
本發明實施例提供一種自動對焦方法,此自動對焦方法適用於影像擷取裝置。首先,透過所述影像擷取裝置的複數個相機,擷取一拍攝場景,以獲得所述複數個相機所對應產生的多張圖像,其中所述拍攝場景可具有單一個或複數個景物。然後,根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有單一個景物或所述複數個景物的至少其中之一的深度資訊或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊。之後,根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生融合深度圖。接著,根據融合深度圖計算所述單一個或複數個景物的目標對焦距離。再者,根據所述單一個景物或所述複數個景物的其中之一的目標對焦距離以調整所述複數個相機的多鏡頭模組的實際對焦距離。
本發明實施例提供一種自動對焦裝置,所述自動對焦裝置適用於影像擷取裝置,且包括融合深度圖產生模組與對焦距離計算模組,其中所述融合深度圖產生模組電性連接所述影像擷取模組,且所述對焦距離計算模組電性連接所述融合深度圖產生模組 與所述影像擷取模組。所述融合深度圖產生模組與所述對焦距離計算模組配合而用以執行上述自動對焦方法的部分步驟。
本發明實施例提供一種影像擷取裝置,所述影像擷取裝置包括影像擷取模組與上述自動對焦裝置,其中所述影像擷取模組具有複數個相機,且包括多鏡頭模組、多感測器模組與致動器模組。所述影像擷取裝置用以執行上述自動對焦方法的各步驟。
綜合以上所述,本發明實施例提供了一種對焦快速且精確的自動對焦方法以及使用上述自動對焦方法的自動對焦裝置和影像擷取裝置。
請參閱以下有關本發明的詳細說明、圖式,其進一步地描述本發明實施例所要解決的技術問題、所採取的技術手段與所達成的效果。此領域具有通常知識者可由下述內容得以深入且具體地瞭解本發明。另外,本發明所檢附的圖式僅提供參考與說明使用,其並非用來限制本發明。
2‧‧‧影像擷取裝置
21‧‧‧影像擷取模組
211‧‧‧多鏡頭模組
2111、511~514‧‧‧鏡頭
212‧‧‧多感測器模組
213‧‧‧致動器模組
2131‧‧‧致動器驅動器
2132‧‧‧致動器
2133‧‧‧閉迴路控制器
2134‧‧‧位置感測器
22‧‧‧自動對焦裝置
221‧‧‧融合深度圖產生模組
2210、2210’、2210”‧‧‧儲存器
2211‧‧‧深度圖產生器
2212‧‧‧解析度比對器
2213‧‧‧深度圖融合器
222‧‧‧對焦距離計算模組
2221‧‧‧對焦距離計算器
223‧‧‧控制介面
214‧‧‧軟性匯流排
S41~S45‧‧‧步驟流程
521~524‧‧‧景物
圖1是用於單一鏡頭的影像擷取裝置的傳統自動對焦方法,於每一次鏡頭移動後的聚焦測量值與移動步數索引值的曲線圖。
圖2是本發明實施例的影像擷取裝置的示意圖。
圖3是本發明實施例的影像擷取模組的示意圖。
圖4是本發明實施例的自動對焦方法的示意圖。
圖5A是本發明實施例針對情境實例執行自動對焦方法的示意圖。
圖5B是本發明實施例針對另一情境實例執行自動對焦方法的示意圖。
本發明實施例提供一種自動對焦方法,且自動對焦方法適用 於一種具有複數個相機的影像擷取裝置中。自動對焦方法透過複數相機擷取一拍攝場景,從而獲得所述複數個相機產生的多張圖像,其中拍攝場景可具有單一個或複數個景物,且所述景物可以包括物件或背景,例如人、動物、地標、樹木、雲、山或瀑布等。接著,自動對焦方法使用所述多張圖像產生多張深度圖,其中每一張深度圖由任兩張圖像所產生,且每一張深度圖可以具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像具有所述單一個景物或相同的所述複數個景物的至少其中之一)或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像無所述單一個景物或無相同的所述複數個景物的至少其中之一)。
然後,自動對焦方法根據所述單一個或複數個景物於所述多張深度圖的解析度,判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生融合深度圖。換言之,所述單一個或複數個景物於每一張深度圖的解析度可有所差異,而自動對焦方法依據所述單一個或複數個景物於多張深度圖的解析度來判斷並選取單一個或複數個景物於多張深度圖的深度資訊,以產生所述融合深度圖。
更進一步地說,在本發明的其中一個實施例中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則自動對焦方法判斷並選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦方法直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
另外,上述判斷並選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個 或複數個景物於所述融合深度圖深度資訊的其中一種實現方式說明如下。
若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則自動對焦方法比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度,將所述單一個或所述複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦方法直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
值得一提的是,於本發明中,產生融合深度圖的實現方式並非以判斷並選取所述單一個或複數個景物於所述多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖深度資訊的實現方式為限。以下將說明其他種產生融合深度圖的實現方式。
在本發明的另一個實施例中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則自動對焦方法判斷並選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度大於門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦方法直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
除了上述產生融合深度圖的實現方式之外,以下說明另一種產生融合深度圖的實現方式。在本發明的另一個實施例中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則自動對焦方法判斷並選取所述單一個或複數個景物於所述部份 或全部多張深度圖中的解析度大於門限解析度者的深度資訊進行權重運算,並且將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦方法直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
除了上述產生融合深度圖的實現方式之外,以下再說明另一種產生融合深度圖的實現方式。在本發明的另一個實施例中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,自動對焦方法自動對焦方法選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度較高的前數名者(例如解析度較高的前60%者,但本發明並不以此為限)的深度資訊進行權重運算,並且將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,自動對焦方法則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
在產生融合深度圖之後,自動對焦方法依據融合深度圖計算所述單一個或複數個景物的目標對焦距離。之後,自動對焦方法依據所述單一個景物或所述複數個景物的其中之一(使用者所選取或自動對焦裝置自動選取的所述複數個景物的其中之一)的目標對焦距離調整所述複數個相機的多鏡頭模組的實際對焦距離,其中自動對焦方法可以一次性或步進式地調整多鏡頭模組的實際對焦距離,但本發明並不以此為限。
另外,本發明實施例還提供一種自動對焦裝置,且自動對焦裝置用於一種具有複數個相機的影像擷取裝置中。上述自動對焦 裝置具有融合深度圖產生模組與對焦距離計算模組。融合深度圖產生模組以上述方式產生融合深度圖。對焦距離計算模組以上述方式計算出所需要的目標對焦距離。另外,自動對焦裝置更可以包括控制介面,且控制介面允許使用者選取所述複數個景物的其中之一的目標對焦距離,並將所選取的景物的目標對焦距離傳送給致動器模組,以讓致動器模組調整複數個相機的多鏡頭模組的實際對焦距離。
除此之外,本發明實施例還提供一種使用上述自動對焦方法的影像擷取裝置。影像擷取裝置具有包括複數個相機的影像擷取模組與上述自動對焦裝置。
以下將以多種實施例配合圖式來說明所述影像處理方法、模組與影像擷取裝置,然而,下述實施例並非用以限制本發明。
[影像擷取裝置的實施例]
請參照圖2,圖2是本發明實施例的影像擷取裝置的示意圖。影像擷取裝置2包括影像擷取模組21與自動對焦裝置22,其中影像擷取模組21電性連接自動對焦裝置22。
影像擷取模組21具有複數個相機,且所述複數個相機可以是陣列相機,所述複數個相機具有以NxM(N列M行)陣列排列的複數個鏡頭與相對應的複數個感測單元,其中一個鏡頭對應一個感測單元。水平或垂直方向上相鄰的兩個鏡頭2111具有間距L,而斜線方向上相鄰的兩鏡頭2111具有間距L。影像擷取模組21用以獲得透過複數個相機擷取一拍攝場景,以獲得由所述複數個相機產生的多張圖像,其中所述拍攝場景可具有單一個景物或複數個景物。
於本發明實施例中,N與M為大於或等於1的任意正整數,但N與M的乘積大於或等於3,例如N與M可以皆為4。另外需要一提的是,雖然圖2的實施例以複數個相機為陣列相機進行說明,但本發明並不限制複數個相機的排列方式,且複數個相機非 以陣列相機為限。
自動對焦裝置22接收多張圖像,並且依據多張圖像產生多張深度圖,其中深度圖由任意兩張圖像所產生,且深度圖可具有對應兩張圖像的所述單一個景物或相同的所述複數個景物的至少其中之一的深度資訊。自動對焦裝置22依據所述單一個或複數個景物於所述多張深度圖的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生融合深度圖。換言之,所述單一個或複數個景物於所述深度圖的深度資訊是否被選取來產生融合深度圖取決所述單一個或複數個景物於所述深度圖的解析度。附帶一提的是,所述單一個或複數景物於所述深度圖的解析度可相關於所述深度圖對應的兩張圖像的兩個鏡頭2111之間的間距。
另外,自動對焦裝置產生融合深度圖的其中一種實現方式說明如下。若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則自動對焦裝置22找出所述單一個或複數個景物於所述部份或全部多張深度圖中具有最高解析度的那一張深度圖,並將此找出的深度圖的所述單一個或複數個景物的深度資訊作為融合深度圖的所述單一個或複數個景物的深度資訊,亦即將此找出的深度圖的所述單一個或複數個景物的最高解析度深度資訊融合至融合深度圖。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦裝置22直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
更進一步地說,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,自動對焦裝置22比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度,將所述單一個或所述複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深 度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦裝置22直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
另外需要說明的是,本發明並不限定僅選取所述單一個或複數個景物於所述多張深度圖中具有最高解析度者的深度資訊作為所述單一個或複數個景物於融合深度圖的深度資訊。其他產生融合深度圖的實現方式說明如下。
在產生融合深度圖的其中一種實現方式中,若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則自動對焦裝置22可以對所述單一個或複數個景物於所述部份或全部多張深度圖中解析度較高的前數名者的深度資訊進行權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦裝置22直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
在產生融合深度圖的其中另一種實現方式中,若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則自動對焦裝置22可以比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度與門限解析度,自動對焦裝置22可以隨機地選取所述單一個或複數個景物於所述深度圖大於門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦裝置22直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
在產生融合深度圖的其中再一種實現方式中,若所述單一個 或複數個景物出現於所述多張深度圖的部份或全部,則自動對焦裝置22可以將所述單一個或複數個景物於所述部份或全部多張深度圖大於門限解析度者的深度資訊進行權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則自動對焦裝置22直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
接著,自動對焦裝置22依據融合深度圖景物的深度資訊計算出所述單一個或複數個景物的目標對焦距離,並且將所述單一個或複數個景物其中之一的目標對焦距離傳送給致動器模組213,以使致動器模組213依據所述單一個或複數個景物其中之一的目標對焦距離調整多個相機的多鏡頭模組211的實際對焦距離(亦即調整多個鏡頭2111的實際對焦距離)。
以下將詳細地介紹影像擷取模組21的其中一種實現方式,然而,本發明並不限制影像擷取模組21的實現方式。影像擷取模組21可以包括多鏡頭模組211、多感測器模組212與致動器模組213,其中多鏡頭模組211連接致動器模組213,致動器模組213電性連接自動對焦裝置22,而多感測器模組212電性連接自動對焦裝置22。多鏡頭模組211與多感測器模組212形成複數個相機,且所述複數個相機可以是一個陣列相機。
多鏡頭模組211具有以陣列排列的多個鏡頭2111,其中水平或垂直方向上相鄰的兩鏡頭2111具有間距L,而斜線方向上相鄰的兩鏡頭2111具有間距L透過多感測器模組212的多個感測單元,每一個鏡頭2111用以對應地將拍攝場景成像於一個感測單元上,以藉此擷取影像形成一張圖像。
多感測器模組212具有多個感測單元,且所述多個感測單元的每一者對應於所述多個鏡頭2111的其中之一。於本發明實施例 中,多感測器模組212的多個感測單元可以以NxM(N列M行)陣列排列,但本發明並不限制多個感測單元的排列方式。多感測器模組212用以依據多個鏡頭2111所獲取的光信號來產生對應的多張圖像。另外,多感測模組212的每一個感測單元上還可以具有色彩濾光片組,例如包括紅、藍與綠色濾光片,且此色彩濾光片組還能夠濾除紅外線,但要說明的是,本發明並不限制色彩濾光片組的形式。
致動器模組213用以接收自動對焦裝置22所計算出的所述單一個景物或所述複數個景物的其中之一的目標對焦距離,並且依據所接收的目標對焦距離來調整多個相機的多鏡頭模組211的實際對焦距離,以使多鏡頭模組211的實際對焦距離等於其所接收的目標對焦距離。
致動器模組213於本發明實施例中可以是閉迴路致動器模組。然而,本發明並不限制於此,致動器模組213於其他實施例中亦可以是開迴路致動器模組。於圖2中,致動器模組213包括致動器驅動器2131、致動器2132、閉迴路控制器2133與位置感測器2134,其中致動器驅動器2131電性耦接自動對焦裝置22,致動器驅動器2131電性耦接致動器2132與閉迴路控制器2133,致動器2132耦接多鏡頭模組211,位置感測器2134電性耦接閉迴路控制器2133。
致動器驅動器2131用以接收自動對焦裝置22所計算出的所述單一個景物或所述複數個景物的其中之一的目標對焦距離與閉迴路控制器2133所傳遞的回授信號,且依據所接收的目標對焦距離與回授信號產生驅動信號給致動器2132。致動器2132用以接收驅動信號,並且依據驅動信號調整多鏡頭模組211的實際對焦距離。位置感測器2134用以感測多鏡頭模組211的實際對焦距離(例如直接感測多鏡頭模組211的位置或透過感測致動器2132的動作來感測多鏡頭模組211的實際對焦距離),並且據此產生位置信號 給閉迴路控制器2133。閉迴路控制器2133依據位置信號產生回授信號給致動器驅動器2131,以藉此讓致動器模組213可以精準地將多鏡頭模組211的實際對焦距離調整為其所接收的目標對焦距離。
以下將詳細地介紹自動對焦裝置22的其中一種實現方式,然而,本發明並不限制自動對焦裝置22的實現方式。自動對焦裝置22可以透過軟體、硬體與韌體的至少其中之一來實現,且本發明並不限制自動對焦裝置22的實現方式。自動對焦裝置22包括融合深度圖產生模組221、對焦距離計算模組222與控制介面223,其中融合深度圖產生模組221電性耦接對焦距離計算模組222與影像擷取模組21的多感測器模組212,且控制介面223電性耦接對焦距離計算模組222與影像擷取模組21的致動器模組213。
融合深度圖產生模組221用以接收所述複數個相機所對應產生的多張圖像,並根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像具有所述單一個景物或相同的所述複數個景物的至少其中之一)或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像無所述單一個景物或無相同的所述複數個景物的至少其中之一)。接著,融合深度圖產生模組221根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖。
對焦距離計算模組222用以根據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離,其中所述單一個景物或所述複數個景物的其中之一的目標對焦距離用以調整所述複數個相機的多鏡頭模組的實際對焦距離。控制介面223用以選取所述複單數個或複數個景物其中之一的目標對焦距離(例如透過使用者來 選取或由控制介面223自動選取),並將所選取的景物的目標對焦距離傳送給致動器模組213。
接著,將進一步地介紹融合深度圖產生模組221的其中一種實現方式,然而,本發明並不限制融合深度圖產生模組221的實現方式。融合深度圖產生模組221包括儲存器2210、2210’、2210”、深度圖產生器2211、解析度比對器2212與深度圖融合器2213,其中儲存器2210電性於耦接多感測器模組212與深度圖產生器2211之間,儲存器2210’電性耦接於深度圖產生器2211與解析度比對器2212之間,深度圖融合器2213電性耦接於解析度比對器與儲存器2210”之間,而儲存器2210”電性耦接對焦距離計算模組222。
儲存器2210用以儲存複數個相機擷取所述拍攝場景所產生的多張圖像,儲存器2210’則用以儲存多張深度圖,儲存器2210”用以儲存融合深度圖。儲存器2210、2210’與2210”於本實施例中雖然屬於融合深度圖產生模組221的一部份,但其亦可以是其他外接或融合深度圖產生模組221的外部的儲存器。另外,2210、2210’與2210”雖然於此實施例中為三個不同的儲存器,但在其他實施例中,亦可以僅設計一個儲存器來同時儲存所述多張圖像、所述多張深度圖與所述融合深度圖。總而言之,儲存器2210、2210’與2210”的類型與數量皆非用以限制本發明。
深度圖產生器2211用以接收對應複數個相機所產生的多張圖像,並且依據多張圖像產生多張深度圖,以將多張深度圖儲存至儲存器2210’,其中每一張深度圖由任兩張圖像所產生,且深度圖可以具有所述單一個景物或複數個景物的至少其中之一的深度資訊(若產生深度圖的兩張圖像具有所述單一個景物或相同的所述複數個景物的至少其中之一)。更詳細地說,若兩張圖像有所述單一個景物或相同的所述複數個景物的至少其中之一,則因為對應不同鏡頭2111的原因,故所述單一個景物或相同的所述複數個景 物的至少其中之一在兩張圖像中的位置不同,而有差異,透過此差異,便可以據此得到所述單一個景物或相同的所述複數個景物的至少其中之一的深度資訊,並據此產生深度圖。
另外,辨識兩張圖像是否有相同景物的作法說明如下。首先,可用目前的景物辨識方法(例如人臉辨識方法或者是其他景物辨識方法)先將每一張圖像的所述單一個景物或相同的所述複數個景物的其中之一擷取出來後,再透過計算不同圖像之所述單一個景物或相同的所述複數個景物的其中之一的相關性(correlation),來判別兩張圖像是否有所述單一個景物或相同的所述複數個景物的其中之一。然而,本發明並不限制辨識兩張圖像是否有所述單一個景物或相同的所述複數個景物的至少其中之一的作法,此領域具有通常知識者亦可以選取其他辨識兩張圖像是否有單一個景物或相同的所述複數個景物的至少其中之一的作法。
接著,在本實施例中,若所述單一個或多個景物出現於所述多張深度圖中的部分或全部,解析度比對器2212比對所述單一個或複數個景物於部份或全部多張深度圖中的解析度,以找出對應所述單一個或複數個景物具有最高解析度的那一張深度圖。接著,深度圖融合器2213根據解析度比對器2212的比對結果,選取所述單一個或複數個景物於部份或全部多張深度圖中最高解析度者的深度資訊,以產生融合深度圖,其中所述單一個或複數個景物於所述融合深度圖的深度資訊為所述單一個或複數個景物於多張深度圖中具有最高解析度者的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則深度圖融合器2213直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
舉例來說,假設有三張深度圖,其中第一與第二張深度圖皆僅具有景物A與景物B的深度資訊,第三張深度圖則有景物A、 景物B與景物C的深度資訊。若景物A於第一張深度圖的解析度大於景物A於第二與第三張深度圖的解析度,則在進行解析度比對後,將第一張深度圖的景物A的深度資訊融合至融合深度圖中,亦即融合深度圖的景物A的深度資訊為第一張深度圖的景物A的深度資訊。若景物B於第二張深度圖的解析度大於景物B於第一與第三張深度圖的解析度,則在進行解析度比對後,將第二張深度圖的景物B的深度資訊融合至融合深度圖中,亦即融合深度圖的景物B的深度資訊為第二張深度圖的景物B的深度資訊。另外,由於僅有第三張深度圖具有景物C,因此無須進行比對,直接將第三張深度圖的景物C的深度資訊融合至融合深度圖中,亦即融合深度圖的景物C的深度資訊為第二張深度圖的景物C的深度資訊。
然而,如前面所述,本發明並不限定僅選取所述單一個或複數個景物於所述多張深度圖中具有最高解析度者的深度資訊作為所述單一個或複數個景物於融合深度圖的深度資訊。
在產生融合深度圖的其中另一種實現方式中,若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則深度圖融合器2213對所述單一個或複數個景物於所述部份或全部多張深度圖中解析度較高的前數名者的深度資訊進行權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則深度圖融合器2213直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
在產生融合深度圖的其中再一種實現方式中,若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則解析度比對器2212可以比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度與門限解析度,且深度圖融合器2213選取所述 單一個或複數個景物於所述深度圖大於門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則深度圖融合器2213直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
在產生融合深度圖的其中又一種實現方式中,若所述單一個或複數個景物出現於所述多張深度圖的部份或全部,則深度圖融合器2213可以將所述景物單一個或複數個於所述多張深度圖大於門限解析度者的深度資訊進行權重運算,並將權重運算後的所述景單一個或複數個物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則深度圖融合器2213直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
以選取所述景物於所述部份或全部多張深度圖中解析度較高的前數名者的深度資訊進行權重運算的實現方式舉例說明。假設影像擷取模組21有八個相機,則對應地會產生28張深度圖。若景物A出現於第一、第二、第四、第五與第九張深度圖中,景物B出現於第十四、第十五、第十六、第十九與第二十張深度圖中,景物A於第一、第二、第四、第五與第九張深度圖中之解析度大小順序分別為第二、第四、第九、第五與第一張深度圖,且景物B於第十四、第十五、第十六、第十九與第二十張深度圖中之解析度大小順序分別為第二十、第十六、第十九、第十五與第十四張深度圖,則深度圖融合器2213可以選取景物A於第二、第四與第九張深度圖(以選取解析度較高的前60%者為例,但本發明並不以此為限)的深度資訊進行權重運算,以及選取景物B於第二十、第十六與第十九張深度圖的深度資訊進行權重運算。接著,深度圖 融合器2213將經過權重運算後的景物A與景物B的深度資訊分別作為景物A與景物B於融合深度圖中的深度資訊。
以選取所述景物於所述部份或全部多張深度圖大於門限解析度者的其中之一的深度資訊的實現方式舉例說明。假設影像擷取模組21有八個相機,則對應地會產生28張深度圖。若景物A出現於第四、第五與第九張深度圖中,景物B出現於第十四、第十五、第十九與第二十張深度圖中,景物A於第五與第九張深度圖中的解析度大於門限解析度,且景物B於第十四、第十五、第十九與第二十張深度圖中的解析度大於門限解析度,則深度圖融合器2213可以選取景物A於第五與第九張深度圖中其中之一的深度資訊作為景物A於融合深度圖中的深度資訊,以及選取景物B於第十四、第十五與第十九與第二十張深度圖中其中之一的深度資訊作為景物B於融合深度圖中的深度資訊。
以選取所述景物於所述部份或全部多張深度圖中大於門限解析度者的深度資訊進行權重運算的實現方式舉例說明。假設影像擷取模組21有八個相機,則對應地會產生28張深度圖。若景物A出現於第四、第五與第九張深度圖中,景物B出現於第十四、第十五、第十九與第二十張深度圖中,景物A於第五與第九張深度圖中的解析度大於門限解析度,且景物B於第十四、第十五、第十九與第二十張深度圖中的解析度大於門限解析度,則深度圖融合器2213可以選取景物A於第五與第九張深度圖的深度資訊進行權重運算,以及選取景物B於第十四、第十五、第十九與第二十張深度圖的深度資訊進行權重運算。接著,深度圖融合器2213將經過權重運算後的景物A與景物B的深度資訊分別作為景物A與景物B於融合深度圖中的深度資訊。
接著,將進一步地介紹對焦距離計算模組222的其中一種實現方式,然而,本發明並不限制對焦距離計算模組222的實現方式。對焦距離計算模組222包括對焦距離計算器2221,其中對焦 距離計算器2221電性耦接控制介面223與儲存器2210”之間。
對焦距離計算器2221透過獲取融合深度圖,而能得到單一個景物或所述複數個景物的深度資訊,以依據所述單一個景物或所述複數個景物的深度資訊計算出每一個景物的目標對焦距離,並將所述單一個景物或所述複數個景物的目標對焦距離傳送給控制介面223。使用者可以透過控制介面223選取所述單一個景物或所述複數個景物其中之一作為目標景物,且控制介面223透過對焦距離計算器2221選取所述複數個景物的其中之一的目標對焦距離,以將所選取的景物的目標對焦距離送給致動器模組213,使得致動器模組213可以依據所選取的單一個或所述複數個景物的目標對焦距離調整多鏡頭模組211的實際對焦距離。
由上可以得知,本發明實施例的自動對焦裝置22可以在短的時間內完成對焦,甚至在完成影像處理前即完成對焦。另外,上述自動對焦裝置22可以透過軟體、硬體與韌體的至少其中之一來實現,例如可以透過軟體或韌體的協助來實現,故可以在不更改硬體電路的情況下讓具有複數個相機的影像擷取裝置2能夠執行自動對焦。除此之外,由於影像擷取裝置2可具有三個以上的相機,因此其對焦精確度可以明顯地提升。另外一方面,致動器模組213可以選取閉迴路致動器模組來實現,以精準地將多個相機的多鏡頭模組211的實際對焦距離設為目標對焦距離。
[影像擷取模組的實施例]
接著,將以一個實施例來介紹上述影像擷取模組21的可能實現方式。然而,要注意的是,本發明並不以下述影像擷取模組21的實現方式為限制。
請同時參照圖2與圖3,圖3是本發明實施例的影像擷取模組的示意圖。影像擷取模組21包括多鏡頭模組211、多感測器模組212與致動器模組213。多鏡頭模組211包括多個以陣列排列多個鏡頭2111,水平或垂直方向上相鄰的兩鏡頭2111彼此有間距L, 而斜線方向上相鄰的兩鏡頭2111彼此有間距L。多感測器模組212的多個感測單元對應地設置於多個鏡頭2111之下,其中每一個鏡頭2111對應於一個感測單元,以透過所述多個感測單元與多個鏡頭2111來擷取一拍攝場景,並產生所述多張圖像。致動器模組213於本發明實施例中可以為音圈馬達模組,且致動器模組213的致動器2132於本發明實施例中可為音圈馬達,致動器驅動器2131可以驅動致動器2132,使致動器213上下移動,以調整多鏡頭模組211的實際對焦距離,但在其他實施例中,致動器模組213亦可以是形狀記憶合金致動器模組,且致動器2132亦可以是形狀記憶合金致動器。另外,影像擷取模組21還包括了軟性匯流排214,以使影像擷取模組21電性連接自動對焦裝置22。除此之外,影像擷取模組21更可包括光學影像穩定器(未繪示於圖中),以使影像擷取模組21具有光學防手震的功能。
[自動對焦方法的實施例]
請接著參照圖4,圖4是本發明實施例的自動對焦方法的示意圖。圖4的自動對焦方法執行影像擷取裝置中,例如圖2的影像擷取裝置2。首先,在步驟S41中,透過所述影像擷取裝置2的複數個相機,擷取一拍攝場景,以獲得所述複數個相機所對應產生的多張圖像,其中所述拍攝場景可具有單一個或複數個景物。接著,在步驟S42中,影像擷取裝置2的自動對焦裝置22根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像具有所述單一個景物或相同的所述複數個景物的至少其中之一)或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像無所述單一個景物或無相同的所述複數個景物的至少其中之一)。
接著,在步驟S43中,影像擷取裝置2的自動對焦裝置22根 據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生融合深度圖,其中如何根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖的詳細作法如前面所述,故不再贅述。
接著,在步驟S44中,自動對焦裝置22根據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離。之後,在步驟S45中,影像擷取裝置2的致動器模組213根據所述單一個景物或所述複數個景物的其中之一的目標對焦距離調整所述複數個相機的多鏡頭模組的實際對焦距離。以下將以數個情境實例來說明自動對焦方法的執行。然而,要注意的是,以下情境實例並非用以限制本發明。
[針對情境實例執行自動對焦方法的示意說明]
請接著參照圖5A,圖5A是本發明實施例針對情境實例執行自動對焦方法的示意圖。於圖5A中,影像擷取裝置具有1x4陣列排列的四個相機,且四個相機分別具有鏡頭511~514,四個鏡頭511~514對應的視角如同其斜線所示,且於圖5A中,拍攝場景共有四個景物521~524。
針對鏡頭511,鏡頭511的視角內僅有景物521、522(亦即景物523、524在鏡頭511的視角之外),故鏡頭511所獲得的圖像僅會有景物521、522。針對鏡頭512,雖然景物521~524皆位於鏡頭512的視角內,但由於景物523擋住了景物524,故鏡頭512所獲得的圖像會有景物521~523。針對鏡頭513,雖然景物521~524皆位於鏡頭513的視角內,但由於景物523擋住了景物522,故鏡頭513所獲得的圖像會有景物521、523與524。針對鏡頭514,鏡頭514的視角內僅有景物521、524(亦即景物522、523在鏡頭514的視角之外),但由於景物524擋住了景物521,故鏡 頭514所獲得的圖像會有景物524。
自動對焦方法會依據四個鏡頭511~514的四張圖像產生六張深度圖()。鏡頭511與512的圖像會產生僅具有景物521、522的深度資訊的第一張深度圖,鏡頭512與513的圖像會產生僅具有景物521、523的深度資訊的第二張深度圖,而鏡頭513與514的圖像會產生僅具有景物524的深度資訊的第三張深度圖。鏡頭511與513的圖像會產生僅具有景物521的深度資訊的第四張深度圖,鏡頭512與514的圖像會產生不具有任何景物的深度資訊的第五張深度圖,而鏡頭511與514的圖像會產生不具有任何景物的深度資訊的第六張深度圖。
於上述六張深度圖中,第一、第二與第四張深度圖皆有景物521的深度資訊,但因為景物521於第四張深度圖的解析度會大於景物521於第一與第二張深度圖的解析度(鏡頭511與512之間的間距小於鏡頭511與513之間的間距),因此選取將第四張深度圖的景物521的深度資訊融合至所述融合深度圖。另外。景物522、523與524分別僅出現於第一、第二與第三張深度圖中,因此直接將第一、第二與第三張深度圖的景物522、523與524的深度資訊直接融合至融合深度圖中。接著,自動對焦方法可以依據融合深度圖的景物521~524的深度資訊計算出景物521~524的目標對焦距離,而使用者可以透過控制介面選取景物521~524其中之一者的目標對焦距離來調整所述多個相機的多鏡頭模組的實際對焦距離(亦即鏡頭511~514的實際對焦距離)。
[針對另一情境實例執行自動對焦方法的示意說明]
請接著參照圖5B,圖5B是本發明實施例針對另一情境實例執行自動對焦方法的示意圖。於圖5B中,影像擷取裝置具有1x4陣列排列的四個相機,且四個相機分別具有鏡頭511~514,四個鏡頭511~514對應的視角如同其斜線所示,且於圖5B中,拍攝場景共有四個景物521~524。
針對鏡頭511,鏡頭511的視角內僅有景物524(亦即景物521~523在鏡頭511的視角之外),故鏡頭511所獲得的圖像僅會有景物524。針對鏡頭512,景物521~524皆位於鏡頭512的視角內且彼此未相互遮擋,故鏡頭512所獲得的圖像會有景物521~524。針對鏡頭513,雖然景物521~524皆位於鏡頭513的視角內,但由於景物521擋住了景物522,故鏡頭513所獲得的圖像會有景物521、523與524。針對鏡頭514,鏡頭514的視角內僅有景物521、522(亦即景物523、524在鏡頭514的視角之外),故鏡頭514所獲得的圖像會有景物521、522。
自動對焦方法會依據四個鏡頭511~514的四張圖像產生六張深度圖()。鏡頭511與512的圖像會產生僅具有景物524的深度資訊的第一張深度圖,鏡頭512與513的圖像會產生僅具有景物521、523、524的深度資訊的第二張深度圖,而鏡頭513與514的圖像會產生僅具有景物521的深度資訊的第三張深度圖。鏡頭511與513的圖像會產生僅具有景物524的深度資訊的第四張深度圖,鏡頭512與514的圖像會產生僅具有景物521、522的深度資訊的第五張深度圖,而鏡頭511與514的圖像會產生不具有任何景物的深度資訊的第六張深度圖。
於上述六張深度圖中,第二、第三與第五張深度圖皆有景物521的深度資訊,但因為景物521於第五張深度圖的解析度會大於景物521於第二與第三張深度圖的解析度(鏡頭512與514之間的間距大於鏡頭512與513之間的間距與鏡頭513與514之間的間距),因此選取將第五張深度圖的景物521的深度資訊融合至所述融合深度圖。
另外,景物522與523分別僅出現於第五與第二張深度圖中,因此直接將第五與第二張深度圖的景物522與523的深度資訊直接融合至融合深度圖中。除此之外,第一、第二與第四張深度圖皆有景物524的深度資訊,但因為景物524於第四張深度圖的解 析度會大於景物524於第一與第二張深度圖的解析度(鏡頭511與513之間的間距大於鏡頭511與512之間的間距與鏡頭512與513之間的間距),因此選取將第四張深度圖的景物524的深度資訊融合至所述融合深度圖。接著,自動對焦方法可以依據融合深度圖的景物521~524的深度資訊計算出景物521~524的目標對焦距離,而使用者可以透過控制介面選取景物521~524其中之一者的目標對焦距離來調整所述多個相機的多鏡頭模組的實際對焦距離(亦即鏡頭511~514的實際對焦距離)。
[實施例的可能功效]
綜合以上所述,本發明實施例提供了一種自動對焦方法及使用所述自動對焦方法的自動對焦裝置與影像擷取裝置所述自動對焦方法用以透過影像擷取裝置的複數個相機擷取一拍攝場景,以獲得複數個相機所對應產生的多張圖像,並根據多張圖像產生多張深度圖,其中所述拍攝場景可具有單一個或複數個景物,且所述深度圖可以具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像具有所述單一個景物或相同的所述複數個景物的至少其中之一)或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊(若形成深度圖的兩張圖像無所述單一個景物或無相同的所述複數個景物的至少其中之一)。接著,所述自動對焦方法依據所述單一個或複數個景物於多張深度圖的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖。接著,所述自動對焦方法依據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離,並依據所述單一個景物或所述複數個景物的其中之一的目標對焦距離控制複數個相機的多鏡頭模組的實際對焦距離,以藉此來完成自動對焦。
由上可以得知,本發明實施例的自動對焦方法與使用所述自動對焦方法的自動對焦裝置的對焦速度快且對焦準確度高,因 此,上述自動對焦方法與自動對焦裝置除了可用於擷取一拍攝場景的靜態影像的對焦之外,還可以用於錄製一拍攝場景的動態影像的對焦。另外,由於上述自動對焦方法與自動對焦裝置的複雜度不高,故可以使用微小晶片實現於現存的具有複數個相機的影像擷取裝置。除此之外,本發明實施例的自動對焦方法與自動對焦裝置還能夠減少對焦步數,以進一步地減少致動器多次移動所產生的累積公差。簡單地說,本發明實施例的自動對焦方法與自動對焦裝置易於實現,且其具有快速的對焦速度與精確的對焦能力。
以上所述僅為本發明的實施例,其並非用以限定本發明的專利保護範圍。任何熟習相像技藝者,在不脫離本發明的精神與範圍內,所作的更動及潤飾的等效替換,仍為本發明的專利保護範圍內。
S41~S45‧‧‧步驟流程

Claims (26)

  1. 一種自動對焦方法,適用於一影像擷取裝置,包括:透過所述影像擷取裝置的複數個相機,擷取一拍攝場景,以獲得所述複數個相機所對應產生的多張圖像,其中所述拍攝場景可具有單一個或複數個景物;根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊;根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生一融合深度圖;根據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離;以及根據所述單一個景物或所述複數個景物的其中之一的目標對焦距離調整所述複數個相機的一多鏡頭模組的一實際對焦距離。
  2. 如請求項第1項所述的自動對焦方法,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度 圖的深度資訊。
  3. 如請求項第2項所述的自動對焦方法,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度,將所述單一個或所述複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  4. 如請求項第1項所述的自動對焦方法,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  5. 如請求項第1項所述的自動對焦方法,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現 於所述多張深度圖中的部份或全部,將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析度者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  6. 如請求項第1項所述的自動對焦方法,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度較高的前數名者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  7. 如請求項第1項所述的自動對焦方法,其中所述複數個相機的數目大於或等於3。
  8. 如請求項第1項所述的自動對焦方法,其中所述複數個相機以NxM陣列排列,其中N與M為大於等於1的任意正整數,且N與M的乘積大於或等於3。
  9. 一種自動對焦裝置,適用於一影像擷取裝置,其中所述影像擷取裝置的複數個相機擷取一拍攝場景,所述拍攝場景可具有單一個或複數個景物,且所述自動對焦裝置包括: 一融合深度圖產生模組,用以執行:獲得所述複數個相機所對應產生的多張圖像;根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊;以及根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生一融合深度圖;以及一對焦距離計算模組,電性連接所述融合深度圖產生模組,用以執行:根據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離,其中所述單一個景物或所述複數個景物的其中之一的目標對焦距離用以調整所述複數個相機的一多鏡頭模組的一實際對焦距離。
  10. 如請求項第9項所述的自動對焦裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則選取所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  11. 如請求項第10項所述的自動對焦裝置,其中於「根據所述單 一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度,將所述單一個或複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  12. 如請求項第9項所述的自動對焦裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  13. 如請求項第9項所述的自動對焦裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析 度者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  14. 如請求項第9項所述的自動對焦裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度較高的前數名者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  15. 如請求項第9項所述的自動對焦裝置,其中所述複數個相機的數目大於或等於3。
  16. 如請求項第9項所述的自動對焦裝置,其中所述複數個相機以NxM陣列排列,其中N與M為大於等於1的任意正整數,且N與M的乘積大於或等於3。
  17. 一種影像擷取裝置,包括:一影像擷取模組,具有複數個相機與一致動器模組,其中所述複數個相機包括一多鏡頭模組與一多感測器模組;以及一自動對焦裝置,電性連接所述影像擷取模組,包括:一融合深度圖產生模組,電性連接所述影像擷取模組;以 及一對焦距離計算模組,電性連接所述融合深度圖產生模組與所述影像擷取模組;其中所述影像擷取模組用以執行:透過所述複數個相機,擷取一拍攝場景,以獲得所述複數個相機所對應產生的多張圖像,其中所述拍攝場景可具有單一個或複數個景物;以及透過所述致動器模組根據所述單一個景物或所述複數個景物的其中之一的目標對焦距離調整所述複數個相機的所述多鏡頭模組的一實際對焦距離;其中所述融合深度圖產生模組用以執行:獲得所述複數個相機所對應產生的所述多張圖像;根據所述多張圖像產生多張深度圖,其中每一所述深度圖由所述任兩張圖像所產生,且所述深度圖可具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊或者可能不具有所述單一個景物或所述複數個景物的至少其中之一的深度資訊;以及根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生一融合深度圖;其中所述對焦距離計算模組用以執行:根據所述融合深度圖計算所述單一個或複數個景物的目標對焦距離。
  18. 如請求項第17項所述的影像擷取裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則選取所述單一個或複 數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  19. 如請求項第18項所述的影像擷取裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則比對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度,將所述單一個或所述複數個景物於所述部份或全部多張深度圖中的解析度最高者的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  20. 如請求項第17項所述的影像擷取裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析度者的其中之一的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數 個景物於所述融合深度圖的深度資訊。
  21. 如請求項第17項所述的影像擷取裝置,其中於「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則將所述單一個或複數個景物於所述部份或全部多張深度圖的解析度大於一門限解析度者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  22. 如請求項第17項所述的影像擷取裝置,其中「根據所述單一個或複數個景物於所述多張深度圖中的解析度判斷並選取所述單一個或複數個景物於所述多張深度圖的深度資訊,以產生所述融合深度圖」的步驟中,若所述單一個或複數個景物出現於所述多張深度圖中的部份或全部,則對所述單一個或複數個景物於所述部份或全部多張深度圖的解析度較高的前數名者的深度資訊進行一權重運算,並將權重運算後的所述單一個或複數個景物的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊;若所述單一個或複數個景物僅出現於所述多張深度圖中的其中一張,則直接將所述單一個或複數個景物於所述深度圖的深度資訊作為所述單一個或複數個景物於所述融合深度圖的深度資訊。
  23. 如請求項第17項所述的影像擷取裝置,其中所述複數個相機的數目大於或等於3。
  24. 如請求項第17項所述的影像擷取裝置,其中所述複數個相機 以NxM陣列排列,其中N與M為大於等於1的任意正整數,且N與M的乘積大於或等於3。
  25. 如請求項第17項所述的影像擷取裝置,其中所述致動器模組為一音圈馬達模組或一形狀記憶合金致動器模組。
  26. 如請求項第17項所述的影像擷取裝置,其中所述致動器模組為一閉迴路致動器模組。
TW102143883A 2013-11-29 2013-11-29 自動對焦方法、其自動對焦裝置和其影像擷取裝置 TWI521255B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW102143883A TWI521255B (zh) 2013-11-29 2013-11-29 自動對焦方法、其自動對焦裝置和其影像擷取裝置
CN201410110681.7A CN104683685B (zh) 2013-11-29 2014-03-24 自动对焦方法、其自动对焦装置和其影像提取装置
US14/490,131 US9686461B2 (en) 2013-11-29 2014-09-18 Image capturing device and automatic focusing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102143883A TWI521255B (zh) 2013-11-29 2013-11-29 自動對焦方法、其自動對焦裝置和其影像擷取裝置

Publications (2)

Publication Number Publication Date
TW201520633A TW201520633A (zh) 2015-06-01
TWI521255B true TWI521255B (zh) 2016-02-11

Family

ID=53266372

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102143883A TWI521255B (zh) 2013-11-29 2013-11-29 自動對焦方法、其自動對焦裝置和其影像擷取裝置

Country Status (3)

Country Link
US (1) US9686461B2 (zh)
CN (1) CN104683685B (zh)
TW (1) TWI521255B (zh)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9270876B2 (en) 2013-01-05 2016-02-23 The Lightco Inc. Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times
US9578252B2 (en) 2013-10-18 2017-02-21 Light Labs Inc. Methods and apparatus for capturing images using optical chains and/or for using captured images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9551854B2 (en) 2013-10-18 2017-01-24 Light Labs Inc. Methods and apparatus for controlling sensors to capture images in a synchronized manner
US9467627B2 (en) 2013-10-26 2016-10-11 The Lightco Inc. Methods and apparatus for use with multiple optical chains
US9736365B2 (en) 2013-10-26 2017-08-15 Light Labs Inc. Zoom related methods and apparatus
US9426365B2 (en) 2013-11-01 2016-08-23 The Lightco Inc. Image stabilization related methods and apparatus
US9554031B2 (en) * 2013-12-31 2017-01-24 Light Labs Inc. Camera focusing related methods and apparatus
US9979878B2 (en) 2014-02-21 2018-05-22 Light Labs Inc. Intuitive camera user interface methods and apparatus
US20150244949A1 (en) 2014-02-21 2015-08-27 Rajiv Laroia Illumination methods and apparatus
US10191356B2 (en) 2014-07-04 2019-01-29 Light Labs Inc. Methods and apparatus relating to detection and/or indicating a dirty lens condition
US10110794B2 (en) 2014-07-09 2018-10-23 Light Labs Inc. Camera device including multiple optical chains and related methods
US9912864B2 (en) 2014-10-17 2018-03-06 Light Labs Inc. Methods and apparatus for using a camera device to support multiple modes of operation
WO2016100756A1 (en) 2014-12-17 2016-06-23 The Lightco Inc. Methods and apparatus for implementing and using camera devices
US9544503B2 (en) 2014-12-30 2017-01-10 Light Labs Inc. Exposure control methods and apparatus
US9824427B2 (en) 2015-04-15 2017-11-21 Light Labs Inc. Methods and apparatus for generating a sharp image
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
US9967535B2 (en) 2015-04-17 2018-05-08 Light Labs Inc. Methods and apparatus for reducing noise in images
US10075651B2 (en) 2015-04-17 2018-09-11 Light Labs Inc. Methods and apparatus for capturing images using multiple camera modules in an efficient manner
US10091447B2 (en) 2015-04-17 2018-10-02 Light Labs Inc. Methods and apparatus for synchronizing readout of multiple image sensors
WO2016172641A1 (en) 2015-04-22 2016-10-27 The Lightco Inc. Filter mounting methods and apparatus and related camera apparatus
US10129483B2 (en) 2015-06-23 2018-11-13 Light Labs Inc. Methods and apparatus for implementing zoom using one or more moveable camera modules
US10491806B2 (en) 2015-08-03 2019-11-26 Light Labs Inc. Camera device control related methods and apparatus
US10365480B2 (en) 2015-08-27 2019-07-30 Light Labs Inc. Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices
CN105163025B (zh) * 2015-08-31 2020-01-31 联想(北京)有限公司 图像捕获方法和电子设备
US9749549B2 (en) 2015-10-06 2017-08-29 Light Labs Inc. Methods and apparatus for facilitating selective blurring of one or more image portions
US10003738B2 (en) 2015-12-18 2018-06-19 Light Labs Inc. Methods and apparatus for detecting and/or indicating a blocked sensor or camera module
US10225445B2 (en) 2015-12-18 2019-03-05 Light Labs Inc. Methods and apparatus for providing a camera lens or viewing point indicator
CN106996934A (zh) * 2016-01-25 2017-08-01 浙江田中精机股份有限公司 多相机视觉检测系统及检测方法
CN105744163B (zh) * 2016-02-23 2019-01-25 湖南拓视觉信息技术有限公司 一种基于深度信息跟踪对焦的摄像机及摄像方法
CN105763799B (zh) * 2016-02-29 2018-12-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
US10306218B2 (en) 2016-03-22 2019-05-28 Light Labs Inc. Camera calibration apparatus and methods
US9948832B2 (en) 2016-06-22 2018-04-17 Light Labs Inc. Methods and apparatus for synchronized image capture in a device including optical chains with different orientations
US11652978B2 (en) * 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device
TWI699629B (zh) * 2018-12-27 2020-07-21 財團法人印刷創新科技研究發展中心 光譜影像擷取裝置及其校正方法
CN110944114B (zh) * 2019-11-28 2021-06-08 维沃移动通信有限公司 拍照方法及电子设备
CN111083375B (zh) * 2019-12-27 2021-06-29 维沃移动通信有限公司 对焦方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005017805A (ja) * 2003-06-27 2005-01-20 Mitsutoyo Corp 画像測定装置のフォーカス検出方法、フォーカス検出機構、およびこのフォーカス検出機構を備えた画像測定装置
JP5661373B2 (ja) * 2010-08-20 2015-01-28 キヤノン株式会社 撮影システム、撮像装置及びその制御方法
US20120050490A1 (en) * 2010-08-27 2012-03-01 Xuemin Chen Method and system for depth-information based auto-focusing for a monoscopic video camera
WO2012066774A1 (ja) * 2010-11-17 2012-05-24 パナソニック株式会社 撮像装置及び距離計測方法
US20130057655A1 (en) * 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US9519972B2 (en) * 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies

Also Published As

Publication number Publication date
CN104683685A (zh) 2015-06-03
US20150156399A1 (en) 2015-06-04
TW201520633A (zh) 2015-06-01
CN104683685B (zh) 2018-02-16
US9686461B2 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
US10863164B2 (en) Stereo camera and method of controlling stereo camera
JP5898501B2 (ja) 画像処理装置、撮像装置、制御方法、プログラム及び記録媒体
US8111910B2 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
US9531938B2 (en) Image-capturing apparatus
CN110622499B (zh) 图像生成装置、图像生成系统、图像生成方法及记录介质
JP2013145314A5 (zh)
BR102012020775B1 (pt) aparelho de captura de imagem, aparelho de processamento de imagem e método para processamento de imagem para geração de informação auxiliar para a imagem capturada
TWI515470B (zh) 使用多鏡頭的自動對焦系統及其方法
US8964104B2 (en) Image pickup apparatus
US20120113313A1 (en) Image pickup apparatus that performs automatic focus control and control method for the image pickup apparatus
US9900493B2 (en) Focus detecting apparatus, and method of prediction for the same
US10404904B2 (en) Focus detection device, focus adjustment device, and camera
JP2020021126A (ja) 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム
JP6140945B2 (ja) 焦点調節装置及び撮像装置
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP7024790B2 (ja) 交換レンズ装置、撮像装置、撮像システム、および方法、並びにプログラム
JP6257201B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
US11754833B2 (en) Image processing apparatus and control method for image processing apparatus
CN108540714B (zh) 图像捕获装置和系统、图像捕获装置控制方法及存储介质
JP5743710B2 (ja) 撮像装置およびその制御方法
JP2018205008A (ja) カメラキャリブレーション装置およびカメラキャリブレーション方法
JP7200002B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および記憶媒体
JP6900228B2 (ja) 撮像装置、撮像システム、撮像装置の制御方法、および、プログラム