TW201607313A - 一種可獲得深度資訊的影像擷取系統與對焦方法 - Google Patents

一種可獲得深度資訊的影像擷取系統與對焦方法 Download PDF

Info

Publication number
TW201607313A
TW201607313A TW103128116A TW103128116A TW201607313A TW 201607313 A TW201607313 A TW 201607313A TW 103128116 A TW103128116 A TW 103128116A TW 103128116 A TW103128116 A TW 103128116A TW 201607313 A TW201607313 A TW 201607313A
Authority
TW
Taiwan
Prior art keywords
image
depth map
depth
scene
image capturing
Prior art date
Application number
TW103128116A
Other languages
English (en)
Other versions
TWI538508B (zh
Inventor
陳昭宇
Original Assignee
光寶科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 光寶科技股份有限公司 filed Critical 光寶科技股份有限公司
Priority to TW103128116A priority Critical patent/TWI538508B/zh
Priority to CN201410541781.5A priority patent/CN105578019B/zh
Priority to US14/717,901 priority patent/US9749614B2/en
Publication of TW201607313A publication Critical patent/TW201607313A/zh
Application granted granted Critical
Publication of TWI538508B publication Critical patent/TWI538508B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

一種影像擷取系統，包括第一影像擷取模組、第二影像擷取模組以及深度圖處理與產生裝置。第一影像擷取模組具有第一鏡頭、第一光圈與第一影像感測器，以產生對應第一光波長範圍的第一圖像。第二影像擷取模組具有第二鏡頭、第二光圈、第三光圈與第二影像感測器，產生對應第一光波長範圍的第二圖像與對應第二光波長範圍的第三圖像。深度圖處理與產生裝置根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖，根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度(blur)差異而產生第二深度圖，以產生具有長範圍的景物深度可解析範圍並兼顧影像的精準度。

Description

一種可獲得深度資訊的影像擷取系統與對焦方法
本發明有關於一種影像擷取系統，且特別是一種可獲得深度資訊的影像擷取系統與對焦方法。
目前習知的深度圖(DEPTH MAP)產方法有下列兩種：1.利用視差，例如使用三維攝影機(3D CAMERA)或是陣列攝影機(ARRAY CAMERA)獲得視差資訊進而計算得到深度資訊。2.利用具有多個光圈(multi aperture)的影像擷取模組來獲得兩個波段(例如可見光(visible light)與紅外光(IR)兩波段)的影像，其每一個波段分別對應一個光圈，並根據兩個圖像的銳利度差異來獲得深度資訊，如美國專利公開號US 2013/0033579所述。
在目前習知的深度圖產生方法中，上述第一個方法受限於基線(Base line)的長度與感測器大小，無法獲得在近距離的景物(或拍攝場景中的物件)深度資訊，而上述第二個方法則受限於圖像的模糊度差異或是銳利度差異，使得無法獲得較遠距離的深度資訊，同時隨著景物與影像擷取模組(攝影機)的距離或對焦點的距離的增加，模糊逐漸近似一定值。故兩個圖像的模糊差異近似不隨距離改變，使得無法判斷較遠距離的物體的深度。
本發明考量此先前技術的兩種系統的缺點，提出一種可以計算出長範圍景物深度資訊的影像擷取模組與相對應的對焦方法， 其可以產生長範圍的景物深度偵測範圍(或稱為可解析範圍)並同時兼顧景物深度資訊的精準度。如此一來，可以應用在需要更高深度圖(DEPTH MAP)的實際應用，例如對焦系統，因為其深度圖即是需要長範圍及高精度的需求。
本發明實施例提供一種影像擷取系統，包括第一影像擷取模組、第二影像擷取模組以及深度圖處理與產生裝置。第一影像擷取模組具有第一鏡頭、第一光圈與第一影像感測器，其中第一鏡頭用以將景物成像於第一影像感測器，第一光圈用以限制第一光波長範圍的進光量，第一影像感測器具有第一光波長偵測範圍，第一影像擷取模組用以產生對應第一光波長範圍的第一圖像。第二影像擷取模組具有第二鏡頭、第二光圈、第三光圈與第二影像感測器，其中第二鏡頭用以將景物成像於第二影像感測器，第二光圈用以限制第一光波長範圍的進光量，第三光圈用以限制第二光波長範圍的進光量，第二影像感測器具有第一光波長偵測範圍與第二光波長偵測範圍，第二影像擷取模組用以產生對應第一光波長範圍的第二圖像、對應第二光波長範圍的第三圖像，第二影像擷取模組的光軸與第一影像擷取模組的光軸間存在一間距。深度圖處理與產生裝置根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖，根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生第二深度圖。
本發明實施例提供一種影像擷取系統的對焦方法，影像擷取系統包括第一影像擷取模組以及第二影像擷取模組，第一影像擷取模組用以產生對應第一光波長範圍的第一圖像，第二影像擷取模組用以產生對應第一光波長範圍的第二圖像與對應第二光波長範圍的第三圖像，所述對焦方法包括以下步驟。首先，根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖，根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生第二深度圖，並於第一深度圖與第二深度圖中 尋找景物的深度資訊。然後，在第一深度圖與第二深度圖的至少其中之一中獲得景物的深度資訊。
本發明實施例更提供一種影像擷取系統的對焦方法，影像擷取系統包括第一影像擷取模組以及第二影像擷取模組，第一影像擷取模組用以產生對應第一光波長範圍的第一圖像，第二影像擷取模組用以產生對應第一光波長範圍的第二圖像與對應第二光波長範圍的第三圖像，所述對焦方法包括以下步驟。首先，根據第一圖像、第二圖像與第三圖像形成融合深度圖，並獲得景物於融合深度圖中的深度資訊。然後，利用融合深度圖中的深度資訊進行對焦。
綜上所述，本發明實施例提供一種影像擷取系統與對焦方法，根據第一圖像與第二圖像獲得第一深度圖，且根據第二圖像與第三圖像產生第二深度圖，並根據第一深度圖與第二深度圖的選擇或者直接利用融合深度圖以產生長範圍的景物深度偵測範圍並同時兼顧影像的精準度。
為使能更進一步瞭解本發明之特徵及技術內容，請參閱以下有關本發明之詳細說明與附圖，但是此等說明與所附圖式僅係用來說明本發明，而非對本發明的權利範圍作任何的限制。
1‧‧‧影像擷取系統
11‧‧‧第一影像擷取模組
12‧‧‧第二影像擷取模組
13‧‧‧深度圖處理與產生裝置
14‧‧‧自動對焦驅動模組
131‧‧‧第一深度圖產生模組
132‧‧‧第二深度圖產生模組
133‧‧‧深度圖選擇/融合模組
111‧‧‧第一鏡頭
112‧‧‧第一光圈
113‧‧‧第一影像感測器
121‧‧‧第二鏡頭
122‧‧‧第二光圈
123‧‧‧第三光圈
124‧‧‧第二影像感測器
BL‧‧‧基線
VR1、VR2‧‧‧視角
Z‧‧‧最近可解析距離
D1、D2‧‧‧可解析範圍
DM1‧‧‧第一深度圖
DM2‧‧‧第二深度圖
DF‧‧‧遠距離範圍
S310、S320、S330、S315、S321、S322、S323、S610、S620‧‧‧步驟流程
圖1是本發明實施例提供的影像擷取系統的功能方塊圖。
圖2是本發明實施例提供的第一影像擷取模組與第二影像擷取模組的示意圖。
圖3是本發明實施例提供的影像擷取系統的對焦方法的流程圖。
圖4是本發明另一實施例提供的影像擷取系統的對焦方法的流程圖。
圖5是本發明另一實施例提供的影像擷取系統的對焦方法的 流程圖。
圖6是本發明另一實施例提供的影像擷取系統的對焦方法的流程圖。
〔影像擷取系統之實施例〕
請參照圖1，圖1是本發明實施例提供的影像擷取系統的功能方塊圖。影像擷取系統1包括第一影像擷取模組11、第二影像擷取模組12、深度圖處理與產生裝置13以及自動對焦驅動模組14。第一影像擷取模組11、第二影像擷取模組12分別將影像資訊送至深度圖處理與產生裝置13以供其進行影像的運算處理。深度圖處理與產生裝置13例如是一個微處理器、計算機或電腦，但本發明並不因此限定。自動對焦驅動模組14用以進行對焦的操作程序。在圖1的實施例中，深度圖處理與產生裝置13包括第一深度圖產生模組131、第二深度圖產生模組132與深度圖選擇/融合模組133。
深度圖處理與產生裝置13的第一深度圖產生模組131用以接收來自第一影像擷取模組11的第一圖像與第二影像擷取模組12的第二圖像，並據此生成第一深度圖。第二深度圖產生模組132用以接收來自第二影像擷取模組12的第二圖像與第三圖像，並據此生成第二深度圖。第一深度圖產生模組131產生的第一深度圖與第二深度圖產生模組132產生的第二深度圖被提供至深度圖選擇/融合模組133，以進行深度圖的選擇或融合。深度圖選擇/融合模組133可以執行深度圖選擇的功能或者是將深度圖融合的功能。在其他實施例中，深度圖選擇/融合模組133可以替換單純的為深度圖選擇模組或者是深度圖融合模組。而自動對焦驅動模組14利用所選擇的深度圖或融合產生的深度圖以進行對焦程序，所述對焦程序可以是由微處理器、計算機或電腦進行對焦的運算程序。進一步，關於第一影像擷取模組11、第二影像擷取模組12， 以及深度圖的產生、選擇或融合，請參照後續的說明。
接著，請參照圖2，圖2是本發明實施例提供的第一影像擷取模組與第二影像擷取模組的示意圖。第一影像擷取模組11與第二影像擷取模組12分別具有視角VR1、VR2。第二影像擷取模組12的光軸與第一影像擷取模組11的光軸間存在一間距BL，而第二影像擷取模組12的光軸與第一影像擷取模組11的光軸之間的連線也就是所謂的基線(Base line)。第一影像擷取模組11具有第一鏡頭111、第一光圈112與第一影像感測器113，其中第一鏡頭用111以將景物(或拍攝場景景物中的物件)成像於第一影像感測器113，第一光圈112用以限制第一光波長範圍的進光量，第一影像感測器113具有第一光波長偵測範圍，第一影像擷取模組11用以產生對應第一光波長範圍的第一圖像。所述第一光波長範圍例如是可見光波長的範圍，而所述第一圖像在圖2中是以影像1(RGB影像)表示。
第二影像擷取模組12具有第二鏡頭121、第二光圈122、第三光圈123與第二影像感測器124，其中第二鏡頭121用以將景物成像於第二影像感測器124，第二光圈122用以限制第一光波長範圍的進光量，第三光圈123用以限制第二光波長範圍的進光量，第二影像感測器124具有第一光波長偵測範圍與第二光波長偵測範圍。所述第一光波長範圍例如是可見光波長的範圍，而所述第二光波長範圍例如是紅外光波長的範圍，第二影像擷取模組12用以產生對應第一光波長範圍的第二圖像、對應第二光波長範圍的第三圖像。所述第二圖像在圖2中是以影像2(RGB影像)表示，而所述第三圖像在圖2中是以影像3(IR影像)表示。
進一步，依據第一影像擷取模組11所獲得的可見光的第一圖像以及第二影像擷取模組12所獲得的可見光的第二圖像間的視差獲得第一深度圖DM1的資訊，但由於受到影像感測器尺寸與鏡頭焦長的關係，深度圖具有最近可解析距離(小於該距離的景物無法 獲得深度資訊)，該最近可解析距離可表示為Z=bf/ad，其中b為基線長度，a為畫素尺寸(pixel size)，d為該影像擷取系統所能獲得的最大畫素差，f為鏡頭焦長，由於該影像擷取系統所能獲得的最大畫素差d是依據實際的影像擷取系統而受限的，而產生最近可解析距離Z，如此產生了如圖2的可解析範圍D1。也就是說，第一深度圖DM1的可解析範圍是D1。
相對的，單就第二影像擷取模組12而言，依據限制可見光的第二光圈122與限制紅外光的第三光圈123分別獲得的可見光的第二圖像與紅外光的第三圖像，其第二深度圖DM2是利用景物於第二圖像與第三圖像中銳利度/模糊度的差異/比值獲得第二深度圖的資訊，同時受限景物於隨著距離對焦距離或影像擷取模組的增加銳利度/模糊度差異量/比值逐漸逼近定值，故該深度圖具一可解析範圍D2，如圖2所示。也就是說，第二深度圖DM2的可解析範圍是D2，同時可利用設定鏡頭對焦位置來達到該可解析範圍D2的延伸距離短於可解析範圍D1，例如將該影像擷取模組的鏡頭對焦距離設定小於可解析範圍D2或是無限遠。故可解析範圍D2是解決可解析範圍D1無法解析最近可解析距離Z以內的景物的深度資訊的問題。然而，本實施例並不限制鏡頭對焦距離的設定，鏡頭對焦距離是可依據實際使用情況而設定。相對地，對具有景物深度資訊於第二深度圖DM2中可解析範圍D2的第二影像擷取模組12而言，第二影像擷取模組12所產生的第二圖像和第三圖像並無法用以判斷位於遠距離範圍DF的景物的距離。也就是說，依據第二深度圖DM2並無法得知位於遠距離範圍DF的景物的距離。此時僅能依據第一深度圖DM1以判斷位於遠距離範圍DF的景物的深度資訊。
更進一步，由圖2可知，第一深度圖DM1的可解析範圍D1與第二深度圖DM2的可解析範圍D2具有一個重疊範圍，也就是說位於此重疊範圍內的景物(或拍攝場景中的物件)的相對於鏡頭 的距離(或稱為深度)可由形成第一圖像與第二圖像的兩個影像擷取模組獲得，或者單由第二影像擷取模組12獲得。而與鏡頭(111、121)的距離小於第一深度圖DM1的最近可解析距離Z的景物相對於鏡頭的距離則僅能由第二影像擷取模組12產生的第二圖像與第三圖像來獲得。由於第二圖像與第三圖像是對應不同的光波範圍所產生，因此可依據兩個圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而得知景物的深度資訊。
簡單的說，在獲得第一圖像、第二圖像與第三圖像之後，深度圖處理與產生裝置13根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖DM1，且根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生第二深度圖DM2。
在一實施例中，當深度圖選擇/融合模組133是深度圖融合模組時，僅用以融合深度圖，則此深度圖融合模組用以接收第一深度圖DM1與第二深度圖DM2，並根據第一深度圖DM1與第二深度圖DM2產生一融合深度圖。融合深度圖可以例如是第一深度圖DM1與第二深度圖DM2以權重或比例方式進行加成而產生，但本發明並不限定產生融合深度圖的方式。
在另一實施例中，當深度圖處理與產生裝置13的深度圖選擇/融合模組133是深度圖選擇模組時，則此深度圖選擇模是用以接收第一深度圖DM1與第二深度圖DM2，當景物的深度資訊僅存在於第一深度圖DM1或第二深度圖DM2的其中之一時，則選擇存在景物的深度資訊的第一深度圖DM1或存在景物的深度資訊的第二深度圖DM2。自動對焦驅動模組14用以接收深度圖選擇模組所選擇的第一深度圖DM1的景物深度資訊或第二深度圖DM2的景物深度資訊，並利用所接收的第一深度圖DM1的景物深度資訊或第二深度圖DM2的景物深度資訊以驅動鏡頭進行自動對焦。也就是說，當景物位於小於深度圖的最近可解析距離Z的範圍或遠距 離範圍DF的位置時，第二深度圖DM2或第一深度圖DM1分別用以獲得景物的深度資訊。另一方面，當景物的位置位於圖2的重疊區域時，此時景物的深度資訊皆存在於第一深度圖DM1與第二深度圖DM2，則可直接利用第一深度圖DM1以進行對焦，或者根據準確度選擇第一深度圖DM1與第二深度圖DM2的其中之一以進行對焦。一般而言，因為第一深度圖DM1已足以用於對位於圖2的重疊區域的景物進行對焦，若直接利用第一深度圖DM1進行對焦，則可以簡化對焦程序。而實際應用時，因為對同一個景物而言，第一深度圖DM1與第二深度圖DM2的景物的深度資訊可能並不完全相同，此時則可以依據深度資訊的準確度來判斷要用第一深度圖DM1或者利用第二深度圖DM2進行對焦。所述準確度即是第一深度圖DM1與第二深度圖DM2中景物的深度資訊的準確度，此準確度則是例如決定於實際應用的第一影像擷取模組11、第二影像擷取模組12的光學限制圖像畫素等硬體參數，同時準確度也與第一深度圖產生模組131和第二深度圖產生模組132對於圖像內容進行運算的演算法的精確度有關，本發明也並不限定評估第一深度圖DM1與第二深度圖DM2的準確度的方式。
〔影像擷取系統的對焦方法之實施例〕
請參照圖3，圖3是本發明實施例提供的影像擷取系統的對焦方法的流程圖。圖3的影像擷取系統的對焦方法可利用前一實施例的影像擷取系統1來實現，其中影像擷取系統1的深度圖選擇/融合模組133是深度圖選擇模組，以進行深度圖選擇的功能。首先，在步驟S310中，根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖DM1，且根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度差異(blur)或比值(ratio)而產生第二深度圖DM2，並於第一深度圖DM1與第二深度圖DM2中尋找景物中的物件的深度資訊。接著，在步驟S320中，在第一深度圖DM1與第二深度圖DM2的至少其中之一中獲得景物的深度資訊。然 後，在步驟S330中，利用第一深度圖DM1與第二深度圖DM2的至少其中之一進行對焦。
接著，請參照圖4，圖4是本發明另一實施例提供的影像擷取系統的對焦方法的流程圖。在此實施例中，進一步敘述關於圖3的步驟S320與步驟S330的可能實現方式。首先，如同圖3的步驟S310，根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖DM1，根據景物於第二圖像與第三圖像的銳利度/模糊度差異或比值而產生第二深度圖DM2，並於第一深度圖DM1與第二深度圖DM2中尋找景物的深度資訊。接著，在步驟S315中，判斷景物的深度資訊是否僅存在於第一深度圖DM1與第二深度圖DM2的其中之一。然後，當景物的深度資訊是僅存在於第一深度圖DM1與第二深度圖DM2的其中之一時，進行步驟S321。也就是，當景物的深度不在圖2的重疊區域時，進行步驟S321。在步驟S321中，利用存在景物的深度資訊的第一深度圖DM1或存在景物的深度資訊的第二深度圖DM2以進行對焦。當景物的深度資訊是皆存在於第一深度圖DM1與第二深度圖DM2時，進行步驟S322，比較第一深度圖DM1與第二深度圖DM2中的景物的深度資訊的準確度，並根據準確度選擇深度資訊以進行對焦。實際應用時步驟S322可以是利用準確度較高的深度資訊進行對焦。
接著，請參照圖5，圖5是本發明另一實施例提供的影像擷取系統的對焦方法的流程圖。圖5的流程圖與圖4的流程圖大致相同，其差異僅在於將圖4的步驟S322替換為步驟S323。當景物的深度資訊是皆存在於第一深度圖DM1與第二深度圖DM2時，進行步驟S323，直接利用第一深度圖DM1中的深度資訊進行對焦。
接著，請參照圖6，圖6是本發明另一實施例提供的影像擷取系統的對焦方法的流程圖。圖6的流程圖也可用圖1和圖2的影像擷取系統1實現，其中影像擷取系統1的深度圖選擇/融合模組 133是深度圖融合模組，用以進行深度圖融合的功能。首先，在步驟S610中，根據第一圖像、第二圖像與第三圖像形成融合深度圖，並獲得景物於融合深度圖中的深度資訊。詳細的說，在步驟S610的形成融合深度圖的步驟中，根據景物於第一圖像與第二圖像所存在的視差而產生第一深度圖DM1，根據景物於第二圖像與第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生第二深度圖DM2，並根據第一深度圖DM2以及第二深度圖DM1產生該融合深度圖。接著，進行步驟S620，利用融合深度圖中的深度資訊進行對焦。
〔實施例的可能功效〕
綜上所述，本發明實施例所提供的影像擷取系統與對焦方法，根據第一圖像與第二圖像獲得第一深度圖，且根據第二圖像與第三圖像產生第二深度圖，並根據第一深度圖與第二深度圖的選擇或者直接利用融合深度圖以產生長範圍的景物深度偵測範圍並同時兼顧影像的精準度。更進一步，由於可以獲得較廣深度圖範圍(近距離到遠距離)，使得所述深度圖可用於快速對焦與重新對焦的功能，以提升影像擷取系統的應用價值。
以上所述僅為本發明之實施例，其並非用以侷限本發明之專利範圍。
11‧‧‧第一影像擷取模組
12‧‧‧第二影像擷取模組
111‧‧‧第一鏡頭
112‧‧‧第一光圈
113‧‧‧第一影像感測器
121‧‧‧第二鏡頭
122‧‧‧第二光圈
123‧‧‧第三光圈
124‧‧‧第二影像感測器
BL‧‧‧基線
VR1、VR2‧‧‧視角
Z‧‧‧最近可解析距離
D1、D2‧‧‧可解析範圍
DM1‧‧‧第一深度圖
DM2‧‧‧第二深度圖
DF‧‧‧遠距離範圍

Claims (14)

  1. 一種影像擷取系統，包括：一第一影像擷取模組，具有一第一鏡頭、一第一光圈與一第一影像感測器，其中該第一鏡頭用以將景物成像於該第一影像感測器，該第一光圈用以限制一第一光波長範圍的進光量，該第一影像感測器具有一第一光波長偵測範圍，該第一影像擷取模組用以產生對應該第一光波長範圍的一第一圖像；一第二影像擷取模組，具有一第二鏡頭、一第二光圈、一第三光圈與一第二影像感測器，其中該第二鏡頭用以將景物成像於該第二影像感測器，該第二光圈用以限制該第一光波長範圍的進光量，該第三光圈用以限制一第二光波長範圍的進光量，該第二影像感測器具有該第一光波長偵測範圍與一第二光波長偵測範圍，該第二影像擷取模組用以產生對應該第一光波長範圍的一第二圖像與對應該第二光波長範圍的一第三圖像，該第二影像擷取模組的光軸與該第一影像擷取模組的光軸間存在一間距；以及一深度圖處理與產生裝置，根據景物於該第一圖像與該第二圖像所存在的視差而產生一第一深度圖，根據景物於該第二圖像與該第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生一第二深度圖。
  2. 如請求項第1項所述之影像擷取系統，所述之深度圖處理與產生裝置，更包括：一第一深度圖產生模組，用以接收該第一圖像與該第二圖像，並據此生成該第一深度圖；以及一第二深度圖產生模組，用以接收該第二圖像與該第三圖像，並據此生成該第二深度圖。
  3. 如請求項第2項所述之影像擷取系統，所述之深度圖處理與產生裝置，更包括： 一深度圖融合模組，用以接收該第一深度圖與該第二深度圖，並根據該第一深度圖與該第二深度圖產生一融合深度圖。
  4. 如請求項第2項所述之影像擷取系統，所述之深度圖處理與產生裝置，更包括：一深度圖選擇模組，用以接收該第一深度圖與該第二深度圖，當景物的深度資訊僅存在於該第一深度圖與該第二深度圖的其中之一時，則選擇存在景物的深度資訊的該第一深度圖或存在景物的深度資訊的該第二深度圖，當景物的深度資訊皆存在於該第一深度圖與該第二深度圖，則選擇第一深度圖。
  5. 如請求項第2項所述之影像擷取系統，所述之深度圖處理與產生裝置，更包括：一深度圖選擇模組，用以接收該第一深度圖與該第二深度圖，當景物的深度資訊僅存在於該第一深度圖與該第二深度圖的其中之一時，則選擇存在景物的深度資訊的該第一深度圖或存在景物的深度資訊的該第二深度圖，當景物的深度資訊皆存在於該第一深度圖與該第二深度圖，則根據準確度選擇該第一深度圖與該第二深度圖的其中之一。
  6. 如請求項第3項所述之影像擷取系統，更包括：一自動對焦驅動模組，其中該自動對焦驅動模組根據該融合深度圖的深度資訊進行自動對焦。
  7. 如請求項第4項或第5項所述之影像擷取系統，更包括：一自動對焦驅動模組，用以接收該深度圖選擇模組所選擇的該第一深度圖或該第二深度圖，並利用所接收的該第一深度圖或該第二深度圖以進行自動對焦。
  8. 一種影像擷取系統的對焦方法，該影像擷取系統包括一第一影像擷取模組以及一第二影像擷取模組，該第一影像擷取模組用以產生對應一第一光波長範圍的一第一圖像，該第二影像擷取模組用以產生對應該第一光波長範圍的一第二圖像與對應該第二光波 長範圍的一第三圖像，該對焦方法包括：根據景物於該第一圖像與該第二圖像所存在的視差而產生一第一深度圖，根據景物於該第二圖像與該第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生一第二深度圖，並於該第一深度圖與該第二深度圖中尋找景物的深度資訊；以及在該第一深度圖與該第二深度圖的至少其中之一中獲得景物的深度資訊。
  9. 如請求項第8項所述之影像擷取系統的對焦方法，其中該第一影像擷取模組具有一第一鏡頭、一第一光圈與一第一影像感測器，該第一鏡頭用以將景物成像於該第一影像感測器，該第一光圈用以限制該第一光波長範圍的進光量，該第一影像感測器具有一第一光波長偵測範圍，該第一影像擷取模組用以產生對應該第一光波長範圍的該第一圖像，其中該第二影像擷取模組具有一第二鏡頭、一第二光圈、一第三光圈與一第二影像感測器，該第二鏡頭用以將景物成像於該第二影像感測器，該第二光圈用以限制該第一光波長範圍的進光量，該第三光圈用以限制該第二光波長範圍的進光量，該第二影像感測器具有該第一光波長偵測範圍與一第二光波長偵測範圍，該第二影像擷取模組用以產生對應該第一光波長範圍的該第二圖像與對應該第二光波長範圍的該第三圖像，該第二影像擷取模組的光軸與該第一影像擷取模組的光軸間存在一間距。
  10. 如請求項第8項所述之影像擷取系統的對焦方法，更包括：當景物的深度資訊是僅存在於該第一深度圖與該第二深度圖的其中之一時，利用存在景物的深度資訊的該第一深度圖或存在該物件的深度資訊的該第二深度圖以進行對焦。
  11. 如請求項第8項所述之影像擷取系統的對焦方法，更包括：當景物的深度資訊是皆存在於該第一深度圖與該第二深度圖時，利用該第一深度圖中的深度資訊進行對焦。
  12. 如請求項第8項所述之影像擷取系統的對焦方法，更包括：當景物的深度資訊是皆存在於該第一深度圖與該第二深度圖時，比較該第一深度圖與該第二深度圖中的景物的深度資訊的準確度，並根據準確度選擇深度資訊。
  13. 一種影像擷取系統的對焦方法，該影像擷取系統包括一第一影像擷取模組以及一第二影像擷取模組，該第一影像擷取模組用以產生對應一第一光波長範圍的一第一圖像，該第二影像擷取模組用以產生對應該第一光波長範圍的一第二圖像與對應該第二光波長範圍的一第三圖像，該對焦方法包括：根據該第一圖像、該第二圖像與該第三圖像形成一融合深度圖，並獲得景物於該融合深度圖中的深度資訊；以及利用該融合深度圖中的深度資訊進行對焦。
  14. 如請求項第13項所述之影像擷取系統的對焦方法，其中在形成一融合深度圖的步驟中，根據景物於該第一圖像與該第二圖像所存在的視差而產生一第一深度圖，根據景物於該第二圖像與該第三圖像的銳利度(sharpness)/模糊度(blur)差異或比值(ratio)而產生一第二深度圖，並根據該第一深度圖以及該第二深度圖產生該融合深度圖。
TW103128116A 2014-08-15 2014-08-15 一種可獲得深度資訊的影像擷取系統與對焦方法 TWI538508B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103128116A TWI538508B (zh) 2014-08-15 2014-08-15 一種可獲得深度資訊的影像擷取系統與對焦方法
CN201410541781.5A CN105578019B (zh) 2014-08-15 2014-10-14 一种可获得深度信息的影像提取系统与对焦方法
US14/717,901 US9749614B2 (en) 2014-08-15 2015-05-20 Image capturing system obtaining scene depth information and focusing method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103128116A TWI538508B (zh) 2014-08-15 2014-08-15 一種可獲得深度資訊的影像擷取系統與對焦方法

Publications (2)

Publication Number Publication Date
TW201607313A true TW201607313A (zh) 2016-02-16
TWI538508B TWI538508B (zh) 2016-06-11

Family

ID=55303111

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103128116A TWI538508B (zh) 2014-08-15 2014-08-15 一種可獲得深度資訊的影像擷取系統與對焦方法

Country Status (3)

Country Link
US (1) US9749614B2 (zh)
CN (1) CN105578019B (zh)
TW (1) TWI538508B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690898B (zh) * 2018-11-26 2020-04-11 緯創資通股份有限公司 影像合成方法
CN112540494A (zh) * 2019-09-06 2021-03-23 浙江舜宇光学有限公司 成像装置和成像方法

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015159323A1 (en) * 2014-04-17 2015-10-22 Sony Corporation Depth assisted scene recognition for a camera
CN106331672B (zh) * 2016-08-19 2018-12-25 深圳奥比中光科技有限公司 视点图像的获得方法、装置及系统
US11652978B2 (en) * 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device
TW201833651A (zh) * 2017-03-14 2018-09-16 晶睿通訊股份有限公司 攝影機景深自動調整方法及攝影機
CN109087235B (zh) 2017-05-25 2023-09-15 钰立微电子股份有限公司 图像处理器和相关的图像系统
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
CN109474770B (zh) * 2017-09-07 2021-09-14 华为技术有限公司 一种成像装置及成像方法
CN107635129B (zh) * 2017-09-29 2020-06-16 上海安威士科技股份有限公司 一种三维三目摄像装置及深度融合方法
KR101986433B1 (ko) * 2017-11-28 2019-06-05 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 영상 스티칭 방법 및 시스템
CN109870116B (zh) * 2017-12-05 2021-08-03 光宝电子(广州)有限公司 深度成像装置及其驱动方法
US10586394B2 (en) * 2018-03-01 2020-03-10 Intel Corporation Augmented reality depth sensing using dual camera receiver
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
JP7104301B2 (ja) * 2018-03-19 2022-07-21 ミツミ電機株式会社 測距カメラ
CN108769476B (zh) * 2018-06-06 2019-07-19 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
US10609361B2 (en) * 2018-06-29 2020-03-31 Semiconductor Components Industries, Llc Imaging systems with depth detection
KR102606824B1 (ko) * 2018-12-14 2023-11-27 삼성전자주식회사 멀티 카메라를 포함하는 장치 및 이의 이미지 처리방법
CN110533708A (zh) * 2019-08-28 2019-12-03 维沃移动通信有限公司 一种电子设备及深度信息获取方法
CN112526801B (zh) * 2019-09-03 2022-01-25 宏达国际电子股份有限公司 双镜头成像模块及其提取方法
CN111479056B (zh) * 2020-04-13 2021-05-04 烟台艾睿光电科技有限公司 一种自动对焦方法、装置及系统
US11943418B2 (en) * 2020-04-16 2024-03-26 Eys3D Microelectronics Co. Processing method and processing system for multiple depth information
US11381729B1 (en) * 2021-01-08 2022-07-05 Hand Held Products, Inc. Systems, methods, and apparatuses for focus selection using image disparity

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001026103A1 (fr) * 1999-10-06 2001-04-12 Sony Corporation Lentille d'objectif et capteur optique
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
JP4452951B2 (ja) * 2006-11-02 2010-04-21 富士フイルム株式会社 距離画像生成方法及びその装置
US8280194B2 (en) * 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
US8184196B2 (en) * 2008-08-05 2012-05-22 Qualcomm Incorporated System and method to generate depth data using edge detection
CN102713742A (zh) * 2010-01-07 2012-10-03 株式会社东芝 显示设备和光源设备
EP2537332A1 (en) 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
JP5204349B2 (ja) * 2010-08-31 2013-06-05 パナソニック株式会社 撮影装置、再生装置、および画像処理方法
US9307134B2 (en) * 2011-03-25 2016-04-05 Sony Corporation Automatic setting of zoom, aperture and shutter speed based on scene depth map
CN103890847B (zh) * 2011-10-21 2016-08-24 松下知识产权经营株式会社 物镜、光学头、光盘装置及信息处理装置
JP2015084262A (ja) * 2012-02-09 2015-04-30 三洋電機株式会社 対物レンズおよび光ピックアップ装置
FR2996925B1 (fr) * 2012-10-17 2017-06-16 Office Nat D Etudes Et De Rech Aerospatiales Procede de conception d'un imageur monovoie passif capable d'estimer la profondeur
US9347648B2 (en) * 2013-08-28 2016-05-24 Avago Technologies General Ip (Singapore) Pte. Ltd. Lighting apparatus with transmission control
US9791113B2 (en) * 2013-10-23 2017-10-17 Daylight Solutions, Inc. Light source assembly with multiple, disparate light sources

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI690898B (zh) * 2018-11-26 2020-04-11 緯創資通股份有限公司 影像合成方法
US10930016B2 (en) 2018-11-26 2021-02-23 Wistron Corporation Image synthesizing method
US11367221B2 (en) 2018-11-26 2022-06-21 Wistron Corporation Image synthesizing method
CN112540494A (zh) * 2019-09-06 2021-03-23 浙江舜宇光学有限公司 成像装置和成像方法
CN112540494B (zh) * 2019-09-06 2022-05-03 浙江舜宇光学有限公司 成像装置和成像方法

Also Published As

Publication number Publication date
US9749614B2 (en) 2017-08-29
CN105578019B (zh) 2018-08-24
US20160050407A1 (en) 2016-02-18
CN105578019A (zh) 2016-05-11
TWI538508B (zh) 2016-06-11

Similar Documents

Publication Publication Date Title
TWI538508B (zh) 一種可獲得深度資訊的影像擷取系統與對焦方法
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP6245885B2 (ja) 撮像装置およびその制御方法
TWI538512B (zh) 調整對焦位置的方法及電子裝置
US10375292B2 (en) Image pickup apparatus and method for generating image having depth information
CN109255810B (zh) 图像处理装置及图像处理方法
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
EP3035104A2 (en) Microscope system and setting value calculation method
JP7378219B2 (ja) 撮像装置、画像処理装置、制御方法、及びプログラム
TW201616447A (zh) 快速建立景深圖的方法及影像處理裝置
JP2020106630A (ja) 制御装置、撮像装置、および、プログラム
JP7288226B2 (ja) 測距カメラ
US20130307938A1 (en) Stereo vision apparatus and control method thereof
CN106973199B (zh) 利用对焦距离扫描提高深度精确度的多光圈相机系统
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2020187065A (ja) 電子機器及びその制御方法、プログラム
US9936121B2 (en) Image processing device, control method of an image processing device, and storage medium that stores a program to execute a control method of an image processing device
CN112866547B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
WO2016047220A1 (ja) 撮像装置及び撮像方法
US10530985B2 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium
JP7022534B2 (ja) 画像処理装置および画像処理方法
JP2016178632A (ja) 撮像装置、画像処理装置および画像処理方法
JP2024005590A (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP5679718B2 (ja) 撮像装置