TW201715202A - 雙孔徑測距系統 - Google Patents

雙孔徑測距系統 Download PDF

Info

Publication number
TW201715202A
TW201715202A TW104134744A TW104134744A TW201715202A TW 201715202 A TW201715202 A TW 201715202A TW 104134744 A TW104134744 A TW 104134744A TW 104134744 A TW104134744 A TW 104134744A TW 201715202 A TW201715202 A TW 201715202A
Authority
TW
Taiwan
Prior art keywords
frame
sub
color
aperture stop
frames
Prior art date
Application number
TW104134744A
Other languages
English (en)
Other versions
TWI577971B (zh
Inventor
王國振
陳以雷
Original Assignee
原相科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 原相科技股份有限公司 filed Critical 原相科技股份有限公司
Priority to TW104134744A priority Critical patent/TWI577971B/zh
Priority to US15/252,671 priority patent/US10368014B2/en
Application granted granted Critical
Publication of TWI577971B publication Critical patent/TWI577971B/zh
Publication of TW201715202A publication Critical patent/TW201715202A/zh
Priority to US16/435,881 priority patent/US10778915B2/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

一種測距系統，包含一第一孔徑光闌、一第二孔徑光闌、一影像感測器以及一處理單元。該第一孔徑光闌包含紅外光截止濾光材質之薄片。該第二孔徑光闌包含不透光材質之薄片。該影像感測器接收穿透該第一孔徑光闌及該第二孔徑光闌的光並輸出一影像圖框。該處理單元分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框，分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框，及對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。

Description

雙孔徑測距系統
本發明係有關一種光學系統，更特別有關一種雙孔徑測距系統。
影像系統已成為目前行動裝置上不可或缺的應用系統之一。該影像系統所擷取的信號除了紀錄影像之外，還可應用於手勢辨識(gesture recognition)、近接感測(proximity sensing)或距離偵測等。
於距離偵測的應用中，例如可使用飛行時間法(time of flight)、結構光法(structure light)、光場相機(light field camera)、編碼孔徑相機(aperture coded camera)等來計算深度。
然而，上述方法皆有其限制。例如，飛行時間法及結構光法會消耗較高的功率，因而較不適用於行動裝置。光場相機會降低影像解析度。編碼孔徑相機則會降低訊雜比(signal-to-noise ratio)。
有鑑於此，有需要提出一種方案，以解決上述問題。
本發明之目的在於提供一種雙孔徑測距系統，其比對綠光影像與複數模糊核(blur kernel)之旋積結果和紅外光影像與複數模糊核之旋積結果，藉以產生一深度圖。
本發明之另一目的在於提供一種雙孔徑測距系統，其比對藍光影像與複數模糊核之旋積結果和紅外光影像與複數模糊核之旋積結果，藉以產生一深度圖。
為達上述目的，本發明說明提供一種測距系統，包含一第一孔徑光闌、一第二孔徑光闌以及一像素陣列。該第一孔徑光闌包含紅外光截止濾光材質之薄片並具有一第一光圈開口。該第二孔徑光闌包含不透光材質之薄片並具有一第二光圈開口，其中該第二光圈開口大於該第一光圈開口。該像素陣列由紅外光像素及綠光像素所組成，或者由紅外光像素及藍光像素所組成，用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光。
本發明說明另提供一種測距系統，包含一第一孔徑光闌、一第二孔徑光闌、一影像感測器以及一處理單元。該第一孔徑光闌包含紅外光截止濾光材質之薄片並具有一第一光圈開口。該第二孔徑光闌包含不透光材質之薄片並具有一第二光圈開口，其中該第二光圈開口大於該第一光圈開口。該影像感測器用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光，並輸出一影像圖框。該處理單元用以將該影像圖框分割為一第一顏色子圖框及一第二顏色子圖框、分別計算該第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框、分別計算該第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框、以及對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。
本發明說明另提供一種測距系統之運作方法。該測距系統包含一第一孔徑光闌、一第二孔徑光闌以及一影像感測器。該第一孔徑光闌為紅外光截止濾光材質，該第二孔徑光闌為不透光材質，該第二孔徑光闌之光圈開口大於該第一孔徑光闌之光圈開口。該運作方法包含下列步驟：以該影像感測器接收穿過該第一孔徑光闌及該第二孔徑光闌的光以產生一影像圖框；分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框；分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框；對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框；及根據該組最佳匹配子圖框求得一深度。
為了讓本發明之上述和其他目的、特徵和優點能更明顯，下文將配合所附圖示，詳細說明如下。此外，於本發明之說明中，相同之構件係以相同之符號表示，於此先述明。
請參照圖1，其為本發明說明實施例之雙孔徑測距系統之剖視圖。本實施例之測距系統1包含一基板10、一第一孔徑光闌11、一第二孔徑光闌12、一透鏡支架13、一透鏡組(此處例如顯示包含三個透鏡141~143，但並不限於此)、一影像感測器15、一紅外光截止濾光片16以及一透鏡屏障17。
該透鏡支架13例如大致具有一圓柱狀結構，該等透鏡141~ 143、該一孔徑光闌11及該第二孔徑光闌12則設置於該透鏡支架13內；其中，圖1所示的該透鏡組所包含透鏡的數目及種類(例如凸透鏡或凹透鏡)僅為例示，其數目及種類係根據不同應用而定，並無特定限制。該透鏡屏障17用以保護設置於該透鏡支架13內的該透鏡組，並具有一開孔供外部光線進入該透鏡支架13而傳播至位於該透鏡支架13的該影像感測器15。
該第一孔徑光闌(aperture stop)11包含紅外光截止濾光材質之薄片(sheet)並具有一第一光圈開口；其中，該薄片例如為環狀(ring shape)並用以阻擋紅外光。更詳言之，該第一光圈開口為該薄片之開口，且大致位於該薄片之中央，但不以此為限。該第一光圈開口例如大致為一圓形開口，但並不以此為限。一實施例中，該紅外光截止濾光材質之一截止波長為550~650奈米，以阻擋該截止波長以上的光束(例如L2)穿透該薄片；其中，該截止波長係根據該影像感測器15所欲接收的可見光光譜決定。請參照圖2所示，其為不同色光的相對光譜響應。例如，當該影像感測器15主要用以感測藍光(blue)時，該截止波長可選擇較短(例如約為550奈米)，而當該影像感測器15主要用以感測綠光(green)時，該截止波長可選擇較長(例如約為650奈米)，以消除與紅外光間的干擾。
該第二孔徑光闌12包含不透光材質之薄片並具有一第二光圈開口；其中，該薄片例如為環狀用以阻擋全部色光(例如阻擋圖2所顯示的所有光譜)。更詳言之，該第二光圈開口為該薄片之開口，且大致位於該薄片之中央，但不以此為限。該第二光圈開口例如大致為一圓形開口，但並不以此為限。
本實施例中，為了形成雙孔徑，該第二光圈開口大於該第一光圈開口。藉此，紅外光經過的孔徑則不同於綠/藍色光所經過的孔徑。例如圖1中，光束L1為包含紅光、綠光、藍光及紅外光成分的光束，而光束L2主要包含綠光及藍光成分但不包含紅外光成分(被該第二孔徑光闌12所阻隔)或所包含的紅外光成分相對綠/藍光成分的比例非常低。因此，紅外光的有效光圈為該第一光圈開口；而綠光及藍光的有效光圈為該第二光圈開口。從圖2可知，紅光(Red)與紅外光(IR)的光譜彼此重疊的區域較多，因此本發明說明中，該影像感測器15設置為不感測紅光光譜能量，以降低與紅外光間的干擾。
可以了解的是，雖然圖1中顯示該第二孔徑光闌12較為靠近該影像感測器15，然其僅用以說明而並非用以限定本發明說明。一實施例中，該第一孔徑光闌11及該第二孔徑光闌12的位置可互換。另一實施例中，該第一孔徑光闌11及該第二孔徑光闌12可形成於同一透明平板(plate)上，並透過於該透明平板上形成(例如塗佈)不同的遮光層(例如作為該第二孔徑光闌12)及濾光層(例如作為該第一孔徑光闌11)以形成該第一光圈開口及該第二光圈開口。
該基板10上設置該影像感測器15及該透鏡支架13。該透鏡支架13可以適當方式結合於該基板10，例如卡合、黏合等方式，並無特定限制。該影像感測器15可以適當方式設置於該基板10，只要該影像感測器15電性連接於該基板10以傳遞電信號即可，並無特定限制。例如圖1顯示該影像感測器15係透過打線的方式電性耦接於該基板10，但並不以此為限。該透鏡支架13的一端(例如圖中靠近該基板10的一端)具有一容納空間，該影像感測器15及其像素陣列150則容設於該容納空間內。
該影像感測器15例如為一影像感測晶片(image sensing chip)，其較佳包含一主動影像感測元件，例如CMOS影像感測元件，但不以此為限。該影像感測器15以一圖框率(frame rate)接收穿過該第一孔徑光闌11及該第二孔徑光闌12的光，並輸出一影像圖框。
請參照圖3A及3B，其為本發明說明實施例之像素陣列150之像素分布之示意圖。該影像感測器15包含一像素陣列150，其包含複數像素以陣列排列用以接收穿過該透鏡組、該第一孔徑光闌11及該第二孔徑光闌12的光，並輸出一影像圖框；其中，該像素陣列150之尺寸並無特定限制。
本實施例中，該像素陣列150由複數第一顏色像素151及複數第二顏色像素153所組成。例如，該第一顏色為綠色光或藍色光，該第二顏色為紅外光。本發明說明中，為了降低與紅外光間的干擾，該第一顏色像素151不包含紅色光像素。因此，該第一顏色像素151僅選擇為綠色光像素及藍色光像素其中之一。可以瞭解的是，所述不同顏色像素具有相同的電路結構，而僅於其上形成不同色光的濾光層，以使像素電路內的感光元件(例如光二極體)感測不同色光的光能量。
該像素陣列150中，該等第一顏色像素151及該等第二顏色像素153較佳以棋盤分布布置，以利後續的內插運算。參照圖4A及4B所示，該等第一顏色像素151沿對角線方向設置，並分別相鄰該等第二顏色像素153。
必須說明的是，本發明說明中所述該等第一顏色像素151及第二顏色像素153不包含該像素陣列150之虛擬畫素(dummy pixel)。某些實施例中，該像素陣列150之邊緣列可設置虛擬畫素作為消除雜訊的方式之一。
該紅外光截止濾光片16設置於該影像感測器15之像素陣列150上方，並具有一截止波長約為810奈米。可以瞭解的是，該截止波長端視該等第二顏色像素153欲感測的目標頻譜而定，並不限定為810奈米。此外，雖然圖1顯示該紅外光截止濾光片16係設置於該透鏡支架13上，但本發明說明並不以此為限。其他實施例中，該紅外光截止濾光片16可為一紅外光截止濾光層直接塗布於該影像感測器15之像素陣列150上，只要能達到阻擋長波長紅外光不照射至該影像感測器15之像素陣列150即可，其設置方式並無特定限制。
如前所述，該影像感測器15可為一影像感測晶片，並包含該像素陣列150以及一處理單元；其中，該處理單元直接對該像素陣列150所擷取的像素資料(例如數位灰階值資料)進行後處理。
請參照圖5所示，其為本發明說明實施例之測距系統之方塊示意圖。本實施例之測距系統6包含一像素陣列61、一讀取電路63以及一處理單元65。該像素陣列61可為前述像素陣列150 (如圖3A及3B)，並包含複數第一顏色像素651及複數第二顏色像素653。該讀取電路63例如根據時脈信號(例如由一時序控制器所產生)依序讀取該像素陣列61的每一像素之灰階值資料，例如利用相關性雙取樣法(correlated double sampling)讀取像素資料，但並不以此為限。該處理單元65例如為一數位信號處理器(DSP)，用以根據所讀取的像素資料計算並輸出一深度資料(例如深度圖)至一外部電子裝置9進行相對應控制；其中，該電子裝置9例如為一可攜式電子裝置或一穿戴式電子裝置等。該處理單元65例如包含一類比數位轉換單元以進行數位轉換。
該處理單元65接收該讀取電路63所輸出的影像圖框F的像素資料並分別處理第一顏色像素資料及第二顏色像素資料。例如，該處理單元65將複數第一顏色像素資料形成為一第一顏色子圖框(subframe)並將複數第二顏色像素資料形成為一第二顏色子圖框；其中，所述像素資料為轉換後的數位資料。如前所述，第一顏色為綠光或藍光，第二顏色為紅外光。例如，圖5顯示該第一顏色子圖框為綠/藍色子圖框(G/B subframe)而該第二顏色子圖框紅外光子圖框(IR subframe)。
該處理單元65包含一第一內插單元6511、一第二內插單元6521、一第一去噪單元6513、一第二去噪單元6523、一第一補償單元6515、一第二補償單元6525、一第一旋積計算器6517、一第二旋積計算器6527、一匹配計算器653以及一儲存單元655。必須說明的是，圖5雖將該第一內插單元6511、第二內插單元6521、第一去噪單元6513、第二去噪單元6523、第一補償單元6515、第二補償單元6525、第一旋積計算器6517、第二旋積計算器6527及匹配計算器653以不同功能方塊顯示，然而該等功能方塊均可以考慮是該處理單元65所執行，且該等功能方塊可以軟體及/或硬體實現，並無特定限制。
該儲存單元655例如為記憶體或緩衝器，用以預存複數第一模糊核、複數第二模糊核以及該等第一模糊核及該等第二模糊核相關的深度資訊。例如參照圖6所示，其顯示應用於本發明說明實施例之測距系統之模糊核之示意圖。該儲存單元655預存有相對於不同距離的藍光模糊核(blur kernel)K1，例如N1~N4，並預存有相對於不同距離的紅外光模糊核K2，例如N1~N4。每一該等模糊核N1~N4例如為事前以該測距系統1相對不同距離的單色光(例如藍光及紅外光)所量測並儲存者。例如N1為相對物距5公分、N2為相對物距10公分、N3為相對物距15公分、N4為相對物距20公分。可以瞭解的是，圖6中模糊核K1及K2的數目以及相對應的物距僅用以說明，並非用以限定本發明說明。此外，綠光模糊核亦可以相同方式預存。
該讀取電路63依序讀取該像素陣列61的每一個像素資料，例如從第一列第一行依序讀取至最後一列最後一行，並將該等像素資料傳送至該處理單元65。該處理單元65將該像素陣列61輸出之影像圖框F(其包含第一顏色像素資料及第二顏色像素資料)分割為一第一顏色子圖框及一第二顏色子圖框；例如，將相對該等第一顏色像素651之像素資料形成該第一顏色子圖框並將相對該等第二顏色像素652之像素資料形成該第二顏色子圖框。
由於該等第一顏色像素651僅為該像素陣列61的部分像素，該處理單元65之第一內插單元6511則對該影像圖框F (即相對該等第一顏色像素651之像素資料)進行內插運算以產生一第一顏色子圖框，以使該第一顏色子圖框與該像素陣列61之有效像素具有相同尺寸。例如，利用位置(1,2)及(2,1)的像素資料內插出位置(1,1)的像素資料；利用位置(1,2)、(2,3)及(1,4)的像素資料內插出位置(1,3)的像素資料；以此類推。然而，內插的方式並不限於此。
由於該等第二顏色像素653僅為該像素陣列61的部分像素，該處理單元65之第二內插單元6521則對該影像圖框F (即相對該等第二顏色像素653之像素資料)進行內插運算以產生一第二顏色子圖框，以使該第二顏色子圖框與該像素陣列61之有效像素具有相同尺寸。例如，利用位置(1,1)、(2,2)及(1,3)的像素資料內插出位置(1,2)的像素資料；利用位置(1,3)、(2,4)及(1,5)的像素資料內插出位置(1,4)的像素資料；以此類推。然而，內插的方式並不限於此。
該處理單元65之第一去噪單元6513例如以一數位濾波器(digital filter)對該第一顏色子圖框進行濾波(去噪)處理，以提高影像品質。同理，該處理單元65之第二去噪單元6523例如以一數位濾波器對該第二顏色子圖框進行濾波(去噪)處理。數位濾波器可為習知用以處理影像的濾波器，並無特定限制。
該處理單元65之第一補償單元6515用以對該第一顏色子圖框進行透鏡陰影補償，且該處理單元65之第二補償單元6525用以對該第二顏色子圖框進行透鏡陰影補償。透鏡陰影補償(lens shading compensation)的資訊係根據該等透鏡141~143(參照圖1)所事先儲存於該處理單元65中，例如儲存於該儲存單元655中。
本實施例中，該處理單元65可選擇執行濾波(去噪)處理及透鏡陰影補償處理至少其中之一，以增加距離計算的正確性。
該處理單元655之第一旋積計算器6517將該影像圖框F之第一顏色子圖框(例如去噪及補償後第一顏色子圖框)分別與複數第一模糊核進行旋積運算(convolution)以產生複數模糊化第一子圖框。例如參照圖6所示，該第一旋積計算器6517從該儲存單元655依序讀取藍光模糊核K1(例如N=1~4)，並分別計算該第一顏色子圖框與藍光模糊核N=1~4之旋積以產生複數(此處為4個)模糊化第一子圖框(blurred first subframe)。可以瞭解的是，所產生的模糊化第一子圖框的數目與預存的模糊核K1的數目相同。
該處理單元655之第二旋積計算器6527將該影像圖框F之第二顏色子圖框(例如去噪及補償後第二顏色子圖框)分別與複數第二模糊核進行旋積運算以產生複數模糊化第二子圖框。例如參照圖6所示，該第二旋積計算器6527從該儲存單元655依序讀取紅外光模糊核K2(例如N=1~4)，並分別計算該第二顏色子圖框與紅外光模糊核N=1~4之旋積以產生複數模糊化第二子圖框(blurred second subframe)。可以瞭解的是，所產生的模糊化第二子圖框的數目與預存的模糊核K2的數目相同，例如此處為4個。
該處理單元65之匹配計算器653接著比對該等模糊化第一子圖框與相對應的該等模糊化第二子圖框以求得一組最佳匹配子圖框。一實施例中，比對該等模糊化第一子圖框與該等模糊化第二子圖框係指對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。該匹配計算器653將相對該模糊核N1的模糊化第一子圖框與模糊化第二子圖框進行減法運算，例如將該模糊化第一子圖框與該模糊化第二子圖框中相對應像素資料(pixel-by-pixel)相減，以得到一第一差分圖框，並將其儲存於該儲存單元655；將相對該模糊核N2的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第二差分圖框，並將其儲存於該儲存單元655；將相對該模糊核N3的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第三差分圖框，並將其儲存於該儲存單元655；將相對該模糊核N4的模糊化第一子圖框與模糊化第二子圖框進行減法運算以得到一第四差分圖框，並將其儲存於該儲存單元655。該匹配計算器653則選擇該第一差分圖框至該第四差分圖框中，像素數值之總和最小者所相相對應的一組模糊化第一子圖框與模糊化第二子圖框作為一組最佳匹配子圖框。
本實施例中，該第一顏色子圖框、該第二顏色子圖框、該等藍光模糊核K1、該等紅外光模糊核K2、該等模糊化第一子圖框、該等模糊化第二子圖框及該第一差分圖框至該第四差分圖框具有相同尺寸。
該匹配計算器653則根據該組最佳匹配子圖框所對應的該第一模糊核及/或該第二模糊核相關的深度資訊決定一深度。例如，當該組最佳匹配子圖框為對應模糊核N=1，如前所述，該模糊核N=1相關的深度資訊例如為5公分，則所決定之深度D則為5公分。同理，當該組最佳匹配子圖框為對應模糊核N=2~4時，則可決定相關的深度D。
此外，最佳化匹配並不限於計算該等模糊化第一子圖框與該等模糊化第二子圖框之減法運算。其他實施例中，最佳化匹配還可計算該等模糊化第一子圖框與相對應的該模糊化第二子圖框之相關性(correlation)，或利用其他習知方法來計算，並不限於本發明說明中所揭示者。如前所述，此處所述相對應係指相對相同物距的模糊核N=1~4。上述計算差分圖框僅用以說明而並非用以限定本發明說明，一組最佳匹配子圖框係指相似度最高的一組模糊化第一子圖框與模糊化第二子圖框。
某些實施例中，當兩組模糊化第一子圖框與模糊化第二子圖框之相似度(例如上述差分圖框之像素數值之總和)的差異不大時，亦可利用差分的方式來計算深度。例如當相似度介於N=1及N=2之間時，深度D可選擇為7.5公分。
最後，該處理單元65輸出決定的深度D至該外部電子裝置9。
請參照圖7所示，其為本發明說明實施例之測距系統之運作方法之流程圖，其包含下列步驟：以一影像感測器接收穿過一第一孔徑光闌及一第二孔徑光闌的光以產生一影像圖框(步驟S71)；分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框(步驟S72)；分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框(步驟S73)；對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框(步驟S74)；以及根據該組最佳匹配子圖框求得一深度(步驟S75)；其中，步驟S72~S75係由該處理單元36利用軟體及/或硬體來執行，例如利用圖5的功能方塊執行。本實施例之詳細實施方式已說明於前，故於此不再贅述。
如前所述，為了增加運算精確度，本實施例之運作方法另包含步驟：以一處理單元對該第一顏色子圖框及該第二顏色子圖框進行濾波(去噪)處理及透鏡陰影補償處理至少其中之一。
此外，在對該第一顏色子圖框及該第二顏色子圖框處理前，該處理單元36先對該等第一顏色像素651之像素資料及該等第二顏色像素651之像素資料進行內插處理(interpolation)，以分別產生該第一顏色子圖框及該第二顏色子圖框。如前所述，該處理單元36先對該影像圖框F之灰階值資料數位化之後再進行內插處理。
必須說明的是，本發明說明中所舉出的數值，例如像素陣列的尺寸、模糊核的個數、透鏡的個數及距離等僅用以說明，而非用限定本發明說明。此外，該讀取電路63亦不限於從第一個像素到最後一個像素依序讀取該像素陣列61的每個像素，亦可先讀取該等第一顏色像素651之像素資料，再讀取該等第二顏色像素653之像素資料，並無特定限制。
此外，搭配一系統光源的點亮熄滅，該處理單元65可先計算相對該系統光源點亮時所擷取之一第一影像圖框與相對該系統光源熄滅時所擷取之一第二影像圖框之一差分影像圖框，再對該差分影像圖框執行上述測距系統之運作方法。更詳言之，上述實施例之影像圖框F可以差分影像圖框取代，而其他運作均相同，故於此不再贅述。
如上所述，習知各種測距系統具有不同的應用限制。因此，本發明說明另提出一種雙孔徑測距系統(圖1及6)及其運作方法(圖7)，其僅根據一張影像即可算出一深度圖；亦即該深度圖包含複數個深度值。此外，由於本發明說明僅使用藍/綠像素的感測結果而不包含紅色像素，可藉以降低與紅外光間的干擾以提高偵測精確度。
雖然本發明已以前述實例揭示，然其並非用以限定本發明，任何本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作各種之更動與修改。因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
1、6‧‧‧測距系統
10‧‧‧基板
11‧‧‧第一孔徑光闌
12‧‧‧第二孔徑光闌
13‧‧‧透鏡支架
141~143‧‧‧透鏡
15‧‧‧影像感測器
16‧‧‧紅外光截止濾光片
17‧‧‧鏡頭屏障
150、61‧‧‧像素陣列
151、651‧‧‧第一顏色像素
153、653‧‧‧第二顏色像素
63‧‧‧讀取電路
65‧‧‧處理單元
6511、6521‧‧‧內插單元
6513、6523‧‧‧去噪單元
6515、6525‧‧‧補償單元
6517、6527‧‧‧旋積計算器
653‧‧‧匹配計算器
655‧‧‧儲存單元
9‧‧‧外部電子裝置
K1、K2‧‧‧模糊核
L1、L2 ‧‧‧光束
圖1為本發明說明實施例之雙孔徑測距系統之剖視圖。 圖2為不同色光的相對光譜響應。 圖3A及3B為本發明說明實施例之像素陣列之像素分布之示意圖。 圖4A及4B為本發明說明實施例之像素陣列之像素分布之另一示意圖。 圖5為本發明說明實施例之測距系統之方塊示意圖。 圖6為應用於本發明說明實施例之測距系統之模糊核之示意圖。 圖7為本發明說明實施例之測距系統之運作方法之流程圖。
1‧‧‧測距系統
10‧‧‧基板
11‧‧‧第一孔徑光闌
12‧‧‧第二孔徑光闌
13‧‧‧透鏡支架
141~143‧‧‧透鏡
15‧‧‧影像感測器
150‧‧‧像素陣列
16‧‧‧紅外光截止濾光片
17‧‧‧鏡頭屏障
L1、L2‧‧‧光束

Claims (20)

  1. 一種測距系統，包含： 一第一孔徑光闌，包含紅外光截止濾光材質之薄片並具有一第一光圈開口；一第二孔徑光闌，包含不透光材質之薄片並具有一第二光圈開口，其中該第二光圈開口大於該第一光圈開口；一像素陣列，由紅外光像素及綠光像素所組成，或者由紅外光像素及藍光像素所組成，用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光。
  2. 如申請專利範圍第1項所述之測距系統，其中，該紅外光截止濾光材質之一截止波長為550~650奈米。
  3. 如申請專利範圍第1項所述之測距系統，其中，該測距系統另包含一處理單元用以 將該像素陣列輸出之一影像圖框之一第一顏色子圖框分別與複數第一模糊核進行旋積運算以產生複數模糊化第一子圖框，將該影像圖框之一第二顏色子圖框分別與複數第二模糊核進行旋積運算以產生複數模糊化第二子圖框，及比對該等模糊化第一子圖框與相對應的該等模糊化第二子圖框以求得一組最佳匹配子圖框。
  4. 如申請專利範圍第3項所述之測距系統，其中，該比對係計算一個該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
  5. 如申請專利範圍第3項所述之測距系統，其中，該處理單元另用以對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
  6. 如申請專利範圍第3項所述之測距系統，其中，該處理單元另用以對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
  7. 如申請專利範圍第3項所述之測距系統，其中，該處理單元另包含一儲存單元用以預存該等第一模糊核、該等第二模糊核以及該等第一模糊核及該等第二模糊核相關的深度資訊。
  8. 如申請專利範圍第1項所述之測距系統，其中，該測距系統另包含一紅外光截止濾光片，該紅外光截止濾光片之截止波長為810奈米。
  9. 如申請專利範圍第1項所述之測距系統，其中，該測距系統另包含一透鏡支架用以設置該第一孔徑光闌及該第二孔徑光闌，該透鏡支架具有一容納空間容設該像素陣列。
  10. 一種測距系統，包含： 一第一孔徑光闌，包含紅外光截止濾光材質之薄片並具有一第一光圈開口；一第二孔徑光闌，包含不透光材質之薄片並具有一第二光圈開口，其中該第二光圈開口大於該第一光圈開口；一影像感測器，用以接收穿過該第一孔徑光闌及該第二孔徑光闌的光，並輸出一影像圖框；以及一處理單元，用以    將該影像圖框分割為一第一顏色子圖框及一第二顏色子圖框，     分別計算該第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框，    分別計算該第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框，及    對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配。
  11. 如申請專利範圍第10項所述之測距系統，其中，該第一顏色為綠色光或藍色光，該第二顏色為紅外光。
  12. 如申請專利範圍第10項所述之測距系統，其中，該最佳化匹配係計算每一該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
  13. 如申請專利範圍第10項所述之測距系統，其中，該處理單元另根據一組最佳匹配子圖框所對應的該第一模糊核及/或該第二模糊核相關的深度資訊決定一深度。
  14. 如申請專利範圍第10項所述之測距系統，其中，該處理單元另用以對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
  15. 如申請專利範圍第10項所述之測距系統，其中，該處理單元另用以對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
  16. 一種測距系統之運作方法，該測距系統包含一第一孔徑光闌、一第二孔徑光闌及一影像感測器，該第一孔徑光闌為紅外光截止濾光材質，該第二孔徑光闌為不透光材質，該第二孔徑光闌之光圈開口大於該第一孔徑光闌，該運作方法包含： 以該影像感測器接收穿過該第一孔徑光闌及該第二孔徑光闌的光以產生一影像圖框；分別計算該影像圖框之一第一顏色子圖框與複數第一模糊核之旋積以產生複數模糊化第一子圖框；分別計算該影像圖框之一第二顏色子圖框與複數第二模糊核之旋積以產生複數模糊化第二子圖框；對該等模糊化第一子圖框與該等模糊化第二子圖框進行最佳化匹配以求得一組最佳匹配子圖框；以及根據該組最佳匹配子圖框求得一深度。
  17. 如申請專利範圍第16項所述之運作方法，另包含： 對該第一顏色子圖框及該第二顏色子圖框進行濾波處理及透鏡陰影補償處理至少其中之一。
  18. 如申請專利範圍第16項所述之運作方法，另包含： 對該影像圖框進行內插運算以產生該第一顏色子圖框及該第二顏色子圖框。
  19. 如申請專利範圍第16項所述之運作方法，其中，該最佳化匹配係計算每一該等模糊化第一子圖框與相對應的一個該等模糊化第二子圖框之減法運算或相關性。
  20. 如申請專利範圍第16項所述之運作方法，其中，該第一顏色為綠色光或藍色光，該第二顏色為紅外光。
TW104134744A 2015-10-22 2015-10-22 雙孔徑測距系統 TWI577971B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104134744A TWI577971B (zh) 2015-10-22 2015-10-22 雙孔徑測距系統
US15/252,671 US10368014B2 (en) 2015-10-22 2016-08-31 Dual-aperture ranging system
US16/435,881 US10778915B2 (en) 2015-10-22 2019-06-10 Dual-aperture ranging system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104134744A TWI577971B (zh) 2015-10-22 2015-10-22 雙孔徑測距系統

Publications (2)

Publication Number Publication Date
TWI577971B TWI577971B (zh) 2017-04-11
TW201715202A true TW201715202A (zh) 2017-05-01

Family

ID=58559371

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104134744A TWI577971B (zh) 2015-10-22 2015-10-22 雙孔徑測距系統

Country Status (2)

Country Link
US (2) US10368014B2 (zh)
TW (1) TWI577971B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2545717B (en) * 2015-12-23 2022-01-05 Bae Systems Plc Improvements in and relating to displays
US10574909B2 (en) 2016-08-08 2020-02-25 Microsoft Technology Licensing, Llc Hybrid imaging sensor for structured light object capture
JP6266074B1 (ja) * 2016-11-08 2018-01-24 三菱電機株式会社 赤外線カメラ
CN112130702A (zh) * 2019-06-25 2020-12-25 英属开曼群岛商音飞光电科技股份有限公司 薄型接近感测装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4830485A (en) * 1987-11-23 1989-05-16 General Electric Company Coded aperture light detector for three dimensional camera
US6774988B2 (en) * 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
JP2002034913A (ja) * 2000-07-27 2002-02-05 Asahi Optical Co Ltd 電子内視鏡システムの光源装置の光学系
US7085070B2 (en) * 2002-05-14 2006-08-01 Olympus Corporation Zoom lens and electronic imaging device having the same
JP4285957B2 (ja) * 2002-08-29 2009-06-24 オリンパス株式会社 ズームレンズ及びそれを有する電子撮像装置
JP3981034B2 (ja) * 2003-03-25 2007-09-26 富士フイルム株式会社 カラー画像取得装置およびカラー電子カメラ
JP4143521B2 (ja) * 2003-11-12 2008-09-03 三菱電機株式会社 車載用カメラ
US7405883B2 (en) * 2004-12-03 2008-07-29 Ohara Inc. Optical component and method of manufacture of optical component
US7911517B1 (en) * 2007-10-31 2011-03-22 The United States Of America As Represented By The Secretary Of Agriculture Device and method for acquiring digital color-infrared photographs for monitoring vegetation
US20090159799A1 (en) * 2007-12-19 2009-06-25 Spectral Instruments, Inc. Color infrared light sensor, camera, and method for capturing images
EP4336447A1 (en) * 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
EP2537345A1 (en) * 2010-02-19 2012-12-26 Dual Aperture, Inc. Processing multi-aperture image data
JP5319836B2 (ja) * 2010-02-26 2013-10-16 シャープ株式会社 画像表示装置
US8330852B2 (en) * 2010-04-30 2012-12-11 Eastman Kodak Company Range measurement using symmetric coded apertures
US8478123B2 (en) * 2011-01-25 2013-07-02 Aptina Imaging Corporation Imaging devices having arrays of image sensors and lenses with multiple aperture sizes
US20130321477A1 (en) * 2012-06-01 2013-12-05 Pixtronix, Inc. Display devices and methods for generating images thereon according to a variable composite color replacement policy
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
US9967527B2 (en) * 2013-11-25 2018-05-08 JVC Kenwood Corporation Imaging device, image processing device, image processing method, and image processing program
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
US10002893B2 (en) * 2014-05-19 2018-06-19 Samsung Electronics Co., Ltd. Image sensor including hybrid pixel structure
WO2016003253A1 (en) * 2014-07-04 2016-01-07 Samsung Electronics Co., Ltd. Method and apparatus for image capturing and simultaneous depth extraction
CN107111009B (zh) * 2014-08-08 2019-11-08 快图有限公司 用于图像获取装置的光学系统、图像获取装置以及图像获取系统
US9425233B2 (en) * 2014-12-22 2016-08-23 Google Inc. RGBZ pixel cell unit for an RGBZ image sensor
US9871065B2 (en) * 2014-12-22 2018-01-16 Google Inc. RGBZ pixel unit cell with first and second Z transfer gates
US20160255323A1 (en) * 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
WO2016189600A1 (ja) * 2015-05-22 2016-12-01 オリンパス株式会社 撮像装置
US20170034456A1 (en) * 2015-07-31 2017-02-02 Dual Aperture International Co., Ltd. Sensor assembly with selective infrared filter array
KR102374116B1 (ko) * 2015-09-30 2022-03-11 삼성전자주식회사 전자 장치

Also Published As

Publication number Publication date
TWI577971B (zh) 2017-04-11
US20170118418A1 (en) 2017-04-27
US10368014B2 (en) 2019-07-30
US10778915B2 (en) 2020-09-15
US20190297279A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
EP3449622B1 (en) Parallax mask fusion of color and mono images for macrophotography
US9497397B1 (en) Image sensor with auto-focus and color ratio cross-talk comparison
US10778915B2 (en) Dual-aperture ranging system
US10070078B2 (en) Solid-state image sensor with pixels having in-pixel memories, motion information acquisition apparatus, and imaging apparatus
CN107071234B (zh) 一种镜头阴影校正方法及装置
JP2018535443A (ja) 位相検出オートフォーカスの算術
CN103546701A (zh) 像素阵列、图像传感器及补偿局部暗电流的方法
US10999483B2 (en) Display-based camera apparatus and methods
US20210067705A1 (en) Phase detection autofocus (pdaf) sensor
US20150015773A1 (en) Image generating apparatus and method and non-transitory recordable medium
US20200228709A1 (en) Method for processing image signal, image signal processor, and image sensor chip
US8929685B2 (en) Device having image reconstructing function, method, and recording medium
US20190139189A1 (en) Image remosaicing
JP5622975B1 (ja) 撮像装置及び画像補正方法並びに画像処理装置及び画像処理方法
CN117378212A (zh) 用于单光子雪崩二极管影像中的暗电流补偿的系统和方法
US9497427B2 (en) Method and apparatus for image flare mitigation
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
JP2011147079A (ja) 撮像装置
US20230239553A1 (en) Multi-sensor imaging color correction
CN110220494B (zh) 双孔径测距系统及其运作方法
US20210105412A1 (en) Image sensor with pixelated cutoff filter for phase detection autofocus
US20240054659A1 (en) Object detection in dynamic lighting conditions
US11368638B2 (en) Imaging element, imaging device, imaging method and computer-readable recording medium
US20230370727A1 (en) High dynamic range (hdr) image generation using a combined short exposure image
TW202224413A (zh) 使用紅外光和色彩光濾波的光譜影像擷取