TWI801637B - 用於相機之紅外光預閃光 - Google Patents
用於相機之紅外光預閃光 Download PDFInfo
- Publication number
- TWI801637B TWI801637B TW108127095A TW108127095A TWI801637B TW I801637 B TWI801637 B TW I801637B TW 108127095 A TW108127095 A TW 108127095A TW 108127095 A TW108127095 A TW 108127095A TW I801637 B TWI801637 B TW I801637B
- Authority
- TW
- Taiwan
- Prior art keywords
- visible light
- image
- infrared light
- infrared
- light
- Prior art date
Links
- 238000000034 method Methods 0.000 claims description 24
- 230000004438 eyesight Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 description 19
- 230000007246 mechanism Effects 0.000 description 12
- 238000005286 illumination Methods 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004313 glare Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000001010 compromised effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005314 correlation function Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Stroboscope Apparatuses (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本發明之影像擷取系統包括:一照明器,其包括至少一個紅外光LED或雷射及一個可見光LED;一影像感測器,其對紅外光及可見光敏感;一記憶體,其經組態以儲存指令;及一處理器,其經組態以執行指令以使該影像擷取系統發射紅外光,接收包括至少一個紅外光影像之影像資料,及基於該紅外光影像資料判定深度圖、可見光聚焦設定或紅外光曝光設定。
Description
本發明係關於一種影像擷取系統,且更特定言之係關於一種具有一不可見光預閃光之影像擷取系統。
使用一自動相機拍照為了一聚焦、良好曝光及白平衡圖像通常需要一自動聚焦機構、一自動曝光機構及一自動白平衡機構。當在黑暗中拍照時,此通常在預覽模式期間提供且由一可見光預閃光協助。在可見光預閃光期間,自相機發射可見光。接著,相機基於可見光預閃光接收可見光影像資料。接著,自動聚焦、自動曝光及自動白平衡之三個演算法運行以計算適當聚焦設定、曝光設定及白平衡設定。
預閃光通常為一秒至幾秒長,此取決於目標場景之環境照明。此相對長之可見光預閃光可導致被拍照人之眩光。此外,可見光預閃光可向人指示其等被拍照,從而導致人移動,改變其等面部表情等。因此,一不可見光預閃光可導致一更佳最終圖像。因而,具有其中可見光預閃光之長度減小或消除之一影像擷取系統將係有利的。
本發明描述一種具有一不可見光預閃光之影像擷取系統。在一項實施例中,在預閃光期間發射紅外光。由於紅外光幾乎不可見,故預閃光造成之干擾眩光減小或消除。本發明之該影像擷取系統包括:一紅外光照明器,其包括至少一個紅外光或雷射;一影像感測器,其對紅外光敏感;一記憶體,其經組態以儲存指令;及一處理器,其經組態以執行指令以使該影像擷取系統發射紅外光作為一預閃光,接收包括至少一個紅外光影像之影像資料,及基於該紅外光影像資料判定紅外光曝光設定。雖然本發明之該影像擷取系統被描述為具有經組態以發射紅外光之一照明器,但該照明器可經組態以發射其他不可見光。例如,在一替代性實施例中,該照明器經組態以在預閃光期間發射UV光。在此一實施例中,該影像感測器經組態以偵測UV光。
相關申請案之交叉參考
此申請案主張2019年1月25日申請之美國專利申請案第16/258,087號之優先權利,該案係2018年7月30日申請之美國申請案第16/049,480號之一部分接續案,此申請案亦主張2018年8月30日申請之歐洲專利申請案第18191725.3號之優先權利,該案宛如全文闡述般以引用的方式併入。
可透過對比度偵測達成自動聚焦。對比度偵測透過透鏡量測一感測器場內之對比度。感測器之相鄰像素之間的強度差隨著恰當影像聚焦而增大。調整光學系統直至偵測到最大對比度。可使用可見光及/或紅外光執行對比度偵測聚焦。當使用紅外光時,若相機透鏡性質略為波長相關的,則一小校正因數可為必要的。此外,寬頻帶紅外光可增大紅外光中相較於可見光R、G、B在物件反射率之間的關聯且增強不同物件之間的對比度。此可改良特定場景之最佳聚焦偵測演算法結果。另外或替代地,在一些實施例中,物件辨識方法(諸如面部辨識)可用於進行甚至更佳之尺寸距離及邊緣預測,藉此進一步改良聚焦演算法。
在一典型影像擷取裝置中,光透過一孔隙進入且藉由至少一個光學元件(諸如一透鏡)被引導至一影像感測器。自動曝光係一自動化系統,其藉由量測圖框中之光而基於外部照明條件而設定孔隙及/或快門速度。自動曝光機構通常針對一可見光相機使用反射可見光且針對一紅外光相機使用反射紅外光。在本發明中,在預閃光期間發射紅外光且使用反射紅外光來預測可見光最終影像之曝光。紅外光曝光設定接著經按比例調整至可見光曝光設定。雖然自紅外光至可見光之轉換不盡人意,但紅外光與可見光之間的偏差含於一可接受範圍內。另外,可應用適當校正因數。此外,寬頻帶紅外光可增大紅外光中相較於可見光R、G、B在物件反射率之間的關聯。另外或替代地,物件辨識方法(諸如面部辨識)可用以進行一改良預測。
自動白平衡係一自動化系統,其移除偏色,使得人身上表現為白色之物件在一照片中呈現為白色。雖然一紅外光影像不含有色彩資訊,但自動白平衡機構可使用環境白平衡設定,或在黑暗中使用預定義LED白平衡矩陣。另外或替代地,白平衡設定可在後處理期間微調。
圖1繪示一使用者裝置100,其包括先前技術之一影像擷取系統105,該影像擷取系統105包括:一照明器101;一影像感測器102;一記憶體106,其用於儲存指令;及一處理器107,其用於執行指令。照明器101係一可見光照明器,諸如一閃光LED。當影像擷取系統105啟動時,處理器107執行指令以使照明器101在一預閃光期間發射可見光110。影像感測器102接著接收包括至少一個可見光影像之影像資料。處理器107接著執行演算法以使用包括至少一個可見光影像之影像資料來判定一恰當曝光設定、聚焦設定及白平衡設定。曝光設定、聚焦設定及白平衡設定接著分別根據經計算之曝光設定、聚焦設定及白平衡設定進行調整。
先前技術之影像擷取系統105之可見光110預閃光通常為一秒至幾秒長。此相對長之預閃光可具有非預期效應,諸如被拍照人之眩光。
圖2繪示一使用者裝置200,其包括本發明之影像擷取系統205之一項實施例,其包括:一照明器201;一影像感測器202;一記憶體206,其用於儲存指令;及一處理器207,其用於執行指令。使用者裝置可為一行動電話、平板電腦、數位相機或可利用一影像擷取系統之任何其他裝置。
照明器201為至少一個可見光LED及至少一個紅外光照明器(諸如一紅外光LED或雷射)之一組合。在一項實施例中,至少一個可見光LED可發射具有350至800 nm之一波長之光,且至少一個紅外光LED或雷射可發射具有600至2500 nm之一波長之光。因而,照明器201能夠發射可見光及紅外光211兩者。
影像擷取系統205之影像感測器202對紅外光及可見光兩者之波長範圍敏感。在一項實施例中,影像感測器102對350至2500 nm之波長敏感。因而,影像感測器202能夠偵測可見光及紅外光兩者。
在一較佳實施例中,影像感測器202包括至少兩個像素類型。在一項實施例中,影像感測器202包括四個像素類型。在一進一步實施例中,影像感測器202包括下列四個像素類型:R、G、B及透明/紅外光。在一進一步實施例中,影像感測器202之紅外光像素為R、G、及B濾光器之一堆疊,該等濾光器相較於R、G、及B (可見光)像素避免紅外光像素之過度曝光。
當影像擷取系統205啟動時,處理器判定是否需要閃光。若需要閃光,則處理器執行指令以使照明器201在一預閃光期間發射紅外光211。影像感測器202接著接收包括至少一個紅外光影像之影像資料。處理器207執行演算法以使用包括至少一個紅外光影像之影像資料來判定紅外光曝光設定。處理器207接著將紅外光曝光設定按比例調整至可見光曝光設定。接著根據經判定曝光設定調整曝光。
在一項實施例中,處理器207經進一步組態以執行指令以使影像擷取系統205基於紅外光影像資料判定紅外光聚焦設定。紅外光聚焦設定可對應於透鏡之聚焦位置。在一進一步實施例中,處理器207接著將紅外光聚焦設定按比例調整至可見光聚焦設定。接著根據經判定聚焦設定調整聚焦。另外或替代地,照明器201及影像感測器202經組態以基於至少一個紅外光影像產生一深度圖。藉由照明器201及影像感測器202產生之深度圖含有關於目標場景中之物件之表面之距離之資訊且可用於判定影像擷取系統200之最佳聚焦位置。深度圖可基於立體視覺、結構化照明或飛行時間(TOF)相機量測。
除了使用深度圖用於聚焦設定外,基於藉由一紅外光LED或雷射之照明使用紅外光影像資料產生之深度圖可用於調整閃光強度或相機曝光設定。替代地,或另外,在一些實施例中,藉由一紅外光LED或雷射之結構化或圖案化照明可用於協助或直接提供一場景之深度資訊。
在一項實施例中,具有個別可定址區段之紅外光LED或雷射可用於形成一結構化光圖案(例如,光帶)且亦容許結構化光對場景進行動態調適。例如,可使用約10 x10個區段之一IR LED或雷射矩陣,其中各區段與相關聯紅外光成像光學器件組合獨立對驅動。此配置容許產生各種照明圖案。瞭解經投影照明圖案容許校準且產生距離資訊。有利地,藉由此解決方案降低相關聯紅外光光學器件之製造需求,且可最大化效率,由於光路徑中不需要吸光元件或遮罩。兩個方向上之圖案產生亦可為保證獲得恰當距離資訊給予冗餘。
在其他實施例中,一分段紅外光LED或雷射可與一單一紅外光飛行時間(TOF)偵測器組合用於深度製圖(depth mapping)。雖然此解決方案相較於光學相機系統將具有一減小之側向解析度,但其將提供產生深度圖之一有用、便宜且非常快速之方式。
當在環境光中拍照時,處理器207經組態以根據一演算法判定白平衡設定。接著根據經判定白平衡設定調整白平衡設定。當在黑暗中拍照時(即,目標場景中不存在環境光的情況下),在閃光期間發射之光為主光源。在此場景中,可針對白平衡設定選擇對閃光照明器調諧之預定義白平衡設定。另外或替代地,面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地,白平衡設定可在處理後微調。
在曝光、聚焦及白平衡設定已經調整至其等經判定設定之後,處理器207執行指令以使照明器201在一閃光期間發射可見光。影像感測器202接著擷取最終影像。
雖然本發明之影像擷取系統205被描述為具有經組態以發射紅外光之一照明器201,但照明器201可經組態以發射其他不可見光。例如,在一替代性實施例中,照明器201經組態以在預閃光期間發射UV光。在此一實施例中,影像感測器201經組態以偵測UV光。
使用一單一影像感測器202來提供紅外光影像資料及可見光影像資料減少影像擷取系統內之組件數目,從而進一步容許製造更緊湊之影像擷取系統。
在一替代性實施例中,本發明之影像擷取系統包括至少兩個影像感測器,其等包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器。圖3繪示一使用者裝置300,其包括本發明之影像擷取系統305之一實施例,該影像擷取系統包括:一照明器301;一第一影像感測器302;一第二影像感測器303;一記憶體306,其用於儲存指令;及一處理器307,其用於執行指令。使用者裝置可為一行動電話、平板電腦、數位相機或可利用一影像擷取系統之任何其他裝置。
照明器301為至少一個可見光LED及至少一個紅外光LED或雷射之一組合。在一項實施例中,至少一個可見光LED發射具有在350至800 nm之一範圍內之一波長之光,且至少一個紅外光LED或雷射發射具有在600至2500 nm之一範圍內之一波長之光。因而,照明器301能夠發射可見光及紅外光311兩者。
第一影像感測器302對紅外光敏感。在一項實施例中,第一影像感測器302對具有在600至2500 nm之一範圍內之一波長之光敏感。第二影像感測器303對可見光敏感。在一項實施例中,第二影像感測器302對具有在350至800 nm之一範圍內之一波長之光敏感。在一較佳實施例中,第一影像感測器302與第二影像感測器303之間存在一適當相關函數。在一進一步實施例中,第一影像感測器302及第二影像感測器303針對自動聚焦、自動曝光及自動白平衡之至少一者彼此校準。
一般技術者將認識到具有至少兩個感測器之一影像擷取系統之優勢,該等感測器包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器。例如,包括R、G、B及/或透明/紅外光像素之一單一四色像素影像感測器可歸因於缺乏紅外光濾光器而被損及。在存在包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器之至少兩個感測器的情況下,具有對一可見光波長範圍之一敏感度之影像感測器歸因於缺乏紅外光濾光器而不被損及。
雖然圖3中繪示之影像擷取系統305被展示為具有兩個影像感測器,但可存在包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器之超過兩個影像感測器。在一項實施例中,具有對一紅外光波長範圍之一敏感度之至少一個影像感測器對具有在600至2500 nm之一範圍內之一波長之光敏感,且具有對一可見光波長範圍之一敏感度之至少一個影像感測器對具有在350至800 nm之一範圍內之一波長之光敏感。
當影像擷取系統包括超過兩個影像感測器時,具有對一紅外光波長範圍之一敏感度之至少一個影像感測器與具有對一可見光波長範圍之一敏感度之至少一個影像感測器之間存在一適當相關函數。在一項實施例中,具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器針對自動聚焦、自動曝光及自動白平衡之至少一者彼此校準。
當影像擷取系統305啟動時,處理器判定是否需要閃光。若需要閃光,則處理器307執行指令以使照明器301在一預閃光期間發射紅外光311。影像感測器302接著接收包括至少一個紅外光影像之影像資料。處理器307執行演算法以使用包括至少一個紅外光影像之影像資料來判定曝光設定。接著根據經判定曝光設定調整曝光設定。
在一項實施例中,處理器經進一步組態以執行指令以使影像擷取系統基於紅外光影像資料判定紅外光聚焦設定。紅外光聚焦設定可為一真實透鏡聚焦位置。在一進一步實施例中,處理器307將紅外光聚焦設定按比例調整至可見光聚焦設定。接著根據經判定聚焦設定調整聚焦。
另外或替代地,能夠發射紅外光之照明器301及對紅外光波長範圍敏感之影像感測器302經組態以基於至少一個紅外光影像產生一深度圖。藉由照明器301及影像感測器302產生之深度圖含有關於目標場景中之物件之表面之距離之資訊且可用於判定影像擷取系統300之相機透鏡之最佳聚焦位置。如先前相對於關於圖2論述之實施例提及,可使用具有可用於形成一結構化光圖案之個別可定址區段之紅外光LED或雷射,藉由紅外光TOF或任何其他可用紅外光深度圖技術產生深度圖。
當在環境光中拍照時,處理器307經組態以根據一演算法判定白平衡設定。接著根據經判定白平衡設定調整白平衡設定。當在黑暗中拍照時(即,目標場景中不存在環境光的情況下),在閃光期間發射之光為主光源。在此場景中,可針對白平衡設定選擇對閃光照明器調諧之預定義白平衡設定。另外或替代地,面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地,白平衡設定可在後處理期間微調。
在已經根據經判定設定調整曝光、聚焦及白平衡設定之後,處理器307執行指令以使照明器301在一閃光期間發射可見光。對可見光敏感之影像感測器303接著擷取最終影像。
在預閃光期間使用紅外光顯著降低或消除預閃光期間之可見光脈衝長度。因而,避免與可見光預閃光相關聯之非所要效應。
雖然本發明之影像擷取系統305被描述為具有經組態以發射紅外光之一照明器301,但照明器301可經組態以發射其他不可見光。例如,在一替代性實施例中,照明器301經組態以在預閃光期間發射UV光。在此一實施例中,至少一個影像感測器經組態以偵測UV光。
圖4A係展示使用本發明之影像擷取系統之一方法之一流程圖,該影像擷取系統在存在環境照明時之一預閃光期間使用紅外光。可在本發明之影像擷取系統205或影像擷取系統305上採用此方法。若在目標場景中偵測到環境光,則在步驟401執行一環境照明預覽。在此預覽期間,運行演算法以判定是否需要閃光及預閃光。所擷取之環境光之量將判定是否需要閃光及預閃光。若處理器判定需要閃光,則在步驟402,處理器執行指令以使影像擷取系統發射紅外光預閃光。接著在步驟403,處理器執行指令以使影像擷取系統接收包括至少一個紅外光影像之影像資料且基於至少一個紅外光影像判定紅外光曝光設定。在一些實施例中,步驟403進一步包括處理器執行指令以基於紅外光影像確認聚焦位置。在步驟404,接著將紅外光曝光設定按比例調整至可見光曝光設定。若在步驟403中確認紅外光聚焦設定,則步驟404進一步包括將紅外光聚焦設定按比例調整至可見光聚焦設定。接著在步驟405,處理器執行指令以使影像擷取系統將曝光設定調整至經按比例調整曝光設定。最後,在步驟406,處理器執行指令以使影像擷取系統發射可見光作為一閃光且影像感測器擷取一最終可見光影像。
雖然圖4A之方法被描述為具有一紅外光預閃光,但方法可使用其他不可見光用於預閃光。例如,在一替代性實施例中,方法包括在步驟402之一UV光預閃光。因此,在此實施例中,步驟403包括基於至少一個UV影像判定UV曝光設定且步驟404包括將UV曝光設定按比例調整至可見光曝光設定。
圖4B係展示使用本發明之影像擷取系統之一方法之一流程圖,該影像擷取系統在目標場景中無環境照明時之一預閃光期間使用紅外光。可在本發明之影像擷取系統205或影像擷取系統305上採用此方法。若在步驟410在目標場景中未偵測到環境光,則處理器判定需要閃光。在步驟411,處理器執行指令以使影像擷取系統發射紅外光作為一預閃光。接著在步驟412,處理器執行指令以使影像擷取系統接收包括至少一個紅外光影像之影像資料且基於至少一個紅外光影像及/或深度圖判定紅外光曝光設定及紅外光聚焦設定兩者。在特定實施例中,具有個別可定址區段之一分段紅外光LED或雷射可用於在對於一紅外光泛光照明器必要時均勻照明一場景,然而另外調諧選定區中之光強度以補償高反射物件或更大距離。在步驟413,將紅外光曝光設定按比例調整至可見光曝光設定,且將紅外光聚焦設定或距離量測按比例調整至可見光曝光設定及可見光聚焦設定。接著在步驟414,處理器執行指令以使影像擷取系統將曝光設定及聚焦設定分別調整至經按比例調整曝光設定及經按比例或經計算之聚焦設定。當在黑暗中拍照時(即,目標場景中不存在環境光的情況下),在閃光期間發射之光為主光源。可針對白平衡設定選擇對閃光照明器調諧之一預定義白平衡。另外或替代地,面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地,白平衡設定可在圖像之後處理期間微調。因此,在步驟415,處理器執行指令以使影像擷取系統發射可見光作為一閃光,按照預定義設定調整白平衡且擷取最終影像。
雖然圖4B之方法被描述為具有一紅外光預閃光,但方法可使用其他不可見光用於預閃光。例如,在一替代性實施例中,方法包括在步驟411之一UV光預閃光。因此,在此實施例中,步驟412包括基於至少一個UV影像判定UV曝光設定及UV聚焦設定且步驟413包括將UV曝光設定按比例調整至可見光曝光設定。
圖5係比較來自使用可見光之一自動曝光機構之量測與來自使用紅外光之一自動曝光機構之量測之一圖表。如在圖4中繪示,在使用可見光照明時對比在使用紅外光照明時自目標場景接收之信號自0.3x變化至1.2x。此示範藉由紅外光判定之自動曝光可用於計算可見光之合理曝光設定。為了避免過度曝光,可見光曝光設定將被設定為一較低比率且可藉此偏離最佳設定達3倍。
影像雜訊為影像中之亮度或色彩資訊之一隨機變化且通常為若干雜訊源之一態樣,其中散粒雜訊通常係最大的。散粒雜訊係光子之粒子性質之一結果且係歸因於隨時間收集之光子之統計變化。散粒雜訊隨著光子數目之平方根增大。因此,一般言之,光子計數愈低,則信雜比(SNR)愈差。藉由一影像感測器之一個像素收集之光子數目與影像之亮度以及曝光時間及像素大小成比例。
影像雜訊可藉由一影像感測器產生。在圖6A及圖6B中繪示來自使用具有上文提及之3倍之按比例降低之紅外光預閃光之一影像擷取系統之白色區域之雜訊位準。在圖6C中繪示使用可見光預閃光之一影像擷取系統之雜訊以用於比較。
圖6C繪示具有設定為400之一ISO及30 ms之一曝光時間之最佳可見光曝光函數。在圖6A中,ISO亦被設定為400,但可見光閃光之曝光時間降低至10 ms,且放大率被設定為3。降低可見光閃光之曝光時間作為避免過度曝光之一方式。當曝光時間減少至10 ms時,影像雜訊稍微增大,如藉由圖6A及圖6C之一比較繪示。此由曝光時間減少時,散粒雜訊之增大而造成。
圖6B繪示紅外光預閃光可用於判定曝光設定而不顯著增加雜訊。在圖6B中,ISO為133,曝光時間為30 ms且放大率被設定為3。因此,圖6B模擬當在預閃光期間使用紅外光時之曝光不足設定。圖6B及圖6C之一比較示範可校正曝光不足而不增加影像雜訊。因而,在預閃光期間使用紅外光之一影像擷取系統可在預閃光期間消除可見光而不增加影像雜訊。
100:使用者裝置
101:照明器
102:影像感測器
105:影像擷取系統
106:記憶體
107:處理器
110:可見光
200:使用者裝置
201:照明器
202:影像感測器
205:影像擷取系統
206:記憶體
207:處理器
211:紅外光
300:使用者裝置
301:照明器
302:第一影像感測器
303:第二影像感測器
305:影像擷取系統
306:記憶體
307:處理器
311:紅外光
401:步驟
402:步驟
403:步驟
404:步驟
405:步驟
406:步驟
410:步驟
411:步驟
412:步驟
413:步驟
414:步驟
415:步驟
圖1繪示包括使用可見光預閃光之先前技術之一影像擷取系統之一使用者裝置。
圖2繪示包括具有一單一四色像素相機之本發明之影像擷取系統之一實施例之一使用者裝置。
圖3繪示包括具有兩個或兩個以上相機之本發明之影像擷取系統之一替代性實施例之一使用者裝置。
圖4A係展示在環境光中使用本發明之影像擷取系統之一方法之一流程圖。
圖4B係展示在低光或暗光中使用本發明之影像擷取系統之一方法之一流程圖。
圖5係比較使用可見光之一自動曝光機構與使用紅外光之一自動曝光機構之一圖表。
圖6A係繪示在預閃光期間使用紅外光及可見光閃光之曝光時間減小時來自白色區域之雜訊位凖之一圖表。
圖6B係繪示在預閃光期間使用紅外光及可見光閃光之ISO降低時來自白色區域之雜訊位凖之一圖表。
圖6C係繪示在預閃光及閃光期間使用可見光時來自白色區域之雜訊位凖之一圖表。
200:使用者裝置
201:照明器
202:影像感測器
205:影像擷取系統
206:記憶體
207:處理器
211:紅外光
Claims (18)
- 一種影像擷取系統,其包括:一照明器,其經組態以發射具有至少一個可見光波長之可見光;至少一個影像感測器,其經組態以偵測包含該至少一個可見光波長之一可見光波長範圍;至少一個處理器,其耦合至該照明器及該至少一個影像感測器;及一記憶體,其經組態以儲存指令,當該等指令由該至少一個處理器執行時,使該影像擷取系統執行操作,該等操作包括:接收一場景之至少一個紅外光影像;基於該至少一個紅外光影像判定該場景之一深度圖;基於該深度圖判定一紅外光曝光設定;按比例調整該紅外光曝光設定以判定一可見光曝光設定;基於該深度圖判定一紅外光聚焦設定;按比例調整該紅外光聚焦設定以判定一可見光聚焦設定;自該照明器發射可見光;及當該可見光被發射時,以該至少一個影像感測器使用該可見光曝光設定及該可見光聚焦設定來擷取該場景之一可見光影像。
- 如請求項1之影像擷取系統,其中該可見光曝光設定不同於該紅外光曝光設定。
- 如請求項2之影像擷取系統,其中: 該可見光曝光設定包含一可見光快門速度;及該按比例調整係以不同於統一(unity)之一值將該紅外光曝光按比例調整,使得該紅外光曝光設定包含不同於該可見光快門速度之一紅外光快門速度。
- 如請求項1之影像擷取系統,其中:該照明器進一步經組態以發射紅外光;及該至少一個影像感測器進一步經組態以當紅外光撞擊(impinge)在該至少一個影像感測器上時產生一可偵測信號。
- 如請求項4之影像擷取系統,其中該等操作進一步包括:自該照明器發射紅外光;及當該紅外光被發射時,以該至少一個影像感測器擷取該至少一個紅外光影像。
- 如請求項4之影像擷取系統,其中該照明器進一步包括個別可定址區段,該等個別可定址區段之各者經組態以發射該紅外光。
- 如請求項1之影像擷取系統,其進一步包括一立體視覺系統、一結構化照明系統或一紅外光飛行時間感測器之至少一者來判定該深度圖。
- 如請求項1之影像擷取系統,其中該等操作進一步包括:調整白平衡設定至預定義白平衡設定,使得使用該可見光曝光設定 及該等預定義白平衡設定來擷取該可見光影像。
- 一種用於擷取一影像之方法,該方法包括:接收一場景之至少一個紅外光影像;基於該至少一個紅外光影像判定該場景之一深度圖;基於該深度圖判定一紅外光曝光設定;按比例調整該紅外光曝光設定以判定一可見光曝光設定;基於該深度圖判定一紅外光聚焦設定;按比例調整該紅外光聚焦設定以判定一可見光聚焦設定;自一照明器發射可見光,該可見光具有至少一個可見光波長;及當該可見光被發射時,以該至少一影像感測器使用該可見光曝光設定及該可見光聚焦設定來擷取該場景之一可見光影像,該至少一影像感測器經組態以偵測包含該至少一個可見光波長之一可見光波長範圍。
- 如請求項9之方法,其中該可見光曝光設定不同於該紅外光曝光設定。
- 如請求項10之方法,其中:該可見光曝光設定包含一可見光快門速度;及該按比例調整係以不同於統一之一值將該紅外光曝光按比例調整,使得該紅外光曝光設定包含不同於該可見光快門速度之一紅外光快門速度。
- 如請求項9之方法,其進一步包括:自該照明器發射紅外光。
- 如請求項12之方法,其中該至少一個影像感測器進一步經組態以當紅外光撞擊在該至少一個影像感測器上時產生一可偵測信號;且進一步包括:當該紅外光被發射時,以該至少一個影像感測器擷取該至少一個紅外光影像。
- 如請求項12之方法,其中該照明器進一步包括個別可定址區段,該等個別可定址區段之各者經組態以發射該紅外光。
- 如請求項9之方法,其進一步包括使用一立體視覺系統、一結構化照明系統或一紅外光飛行時間感測器之至少一者來判定該深度圖。
- 如請求項9之方法,其進一步包括:調整白平衡設定至預定義白平衡設定,使得使用該可見光曝光設定及該等預定義白平衡設定來擷取該可見光影像。
- 一種影像擷取系統,其包括:一照明器,其經組態以發射具有至少一個可見光波長之可見光;至少一個影像感測器,其經組態以偵測包含該至少一個可見光波長之一可見光波長範圍; 至少一個處理器,其耦合至該照明器及該至少一個影像感測器;及一記憶體,其經組態以儲存指令,當該等指令由該至少一個處理器執行時,使該影像擷取系統執行操作,該等操作包括:接收一場景之至少一個紅外光影像;基於該至少一個紅外光影像判定該場景之一深度圖;基於該深度圖判定一紅外光快門速度;按比例調整該紅外光快門速度以判定一可見光快門速度;基於該深度圖判定一紅外光聚焦設定;按比例調整該紅外光聚焦設定以判定一可見光聚焦設定;自該照明器發射可見光;及當該可見光被發射時,以該至少一個影像感測器使用該可見光快門速度及該可見光聚焦設定來擷取該場景之一可見光影像。
- 如請求項17之影像擷取系統,其中:該照明器進一步經組態以發射紅外光;該至少一個影像感測器進一步經組態以當紅外光撞擊在該至少一個影像感測器上時產生一可偵測信號;及該等操作進一步包括:自該照明器發射紅外光;及當該紅外光被發射時,以該至少一個影像感測器擷取該至少一個紅外光影像。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/049,480 US20200036877A1 (en) | 2018-07-30 | 2018-07-30 | Use of ir pre-flash for rgb camera's automatic algorithms |
US16/049,480 | 2018-07-30 | ||
EP18191725 | 2018-08-30 | ||
EP18191725.3 | 2018-08-30 | ||
US16/258,087 US10771717B2 (en) | 2018-07-30 | 2019-01-25 | Use of IR pre-flash for RGB camera's automatic algorithms |
US16/258,087 | 2019-01-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202021340A TW202021340A (zh) | 2020-06-01 |
TWI801637B true TWI801637B (zh) | 2023-05-11 |
Family
ID=69178361
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108127094A TW202021339A (zh) | 2018-07-30 | 2019-07-30 | 用於相機之紅外光預閃光 |
TW108127095A TWI801637B (zh) | 2018-07-30 | 2019-07-30 | 用於相機之紅外光預閃光 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW108127094A TW202021339A (zh) | 2018-07-30 | 2019-07-30 | 用於相機之紅外光預閃光 |
Country Status (3)
Country | Link |
---|---|
US (2) | US10771717B2 (zh) |
TW (2) | TW202021339A (zh) |
WO (2) | WO2020028434A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10771717B2 (en) | 2018-07-30 | 2020-09-08 | Lumileds Llc | Use of IR pre-flash for RGB camera's automatic algorithms |
US10982836B2 (en) * | 2018-10-31 | 2021-04-20 | Microsoft Technology Licensing, Llc | Tunable spectral illuminator for camera |
US10931894B2 (en) | 2018-10-31 | 2021-02-23 | Microsoft Technology Licensing, Llc | Tunable spectral illuminator for camera |
US11070738B2 (en) * | 2019-10-02 | 2021-07-20 | Qualcomm Incorporated | Infrared-assisted pre-flash |
CN111982285B (zh) * | 2020-07-22 | 2021-06-11 | 西北工业大学 | 一种双黑体的红外偏振焦平面发射红外光消除方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033593A1 (en) * | 2009-10-14 | 2013-02-07 | Chinnock Randal B | Portable Retinal Camera and Image Acquisition Method |
US20130155253A1 (en) * | 2011-12-15 | 2013-06-20 | Research In Motion Limited | Apparatus and method for controlling a camera and infrared illuminator in an electronic device |
TWI584634B (zh) * | 2016-03-08 | 2017-05-21 | 聚晶半導體股份有限公司 | 適於產生深度圖的電子裝置與方法 |
US9704250B1 (en) * | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
TWI618233B (zh) * | 2015-02-17 | 2018-03-11 | 豪威科技股份有限公司 | 用於附接之三維資訊之堆疊嵌入式矽光子雪崩二極體影像感測器 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8300042B2 (en) * | 2001-06-05 | 2012-10-30 | Microsoft Corporation | Interactive video display system using strobed light |
WO2006092656A1 (en) | 2004-10-06 | 2006-09-08 | Inon, Inc. | Light emission control of external flash for digital camera |
TWI265368B (en) | 2005-03-22 | 2006-11-01 | Compal Electronics Inc | Method of using flash light pre-flash for focus |
US7566855B2 (en) | 2005-08-25 | 2009-07-28 | Richard Ian Olsen | Digital camera with integrated infrared (IR) response |
US7609291B2 (en) | 2005-12-07 | 2009-10-27 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Device and method for producing an enhanced color image using a flash of infrared light |
DE602007000971D1 (de) | 2006-01-20 | 2009-06-10 | Fluke Corp | Kamera mit Bildmischung aus sichtbarem Licht und Infrarotlicht |
WO2009151903A2 (en) | 2008-05-20 | 2009-12-17 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with hetergeneous imagers |
JP2010093472A (ja) | 2008-10-07 | 2010-04-22 | Panasonic Corp | 撮像装置および撮像装置用信号処理回路 |
US8379134B2 (en) | 2010-02-26 | 2013-02-19 | Research In Motion Limited | Object detection and selection using gesture recognition |
US9491441B2 (en) * | 2011-08-30 | 2016-11-08 | Microsoft Technology Licensing, Llc | Method to extend laser depth map range |
EP2605505B1 (en) | 2011-12-15 | 2016-05-04 | BlackBerry Limited | Apparatus and method for controlling a camera and infrared illuminator in an electronic device |
US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
US9420248B2 (en) | 2014-09-19 | 2016-08-16 | Qualcomm Incorporated | Multi-LED camera flash for color temperature matching |
US20200036877A1 (en) | 2018-07-30 | 2020-01-30 | Lumileds Llc | Use of ir pre-flash for rgb camera's automatic algorithms |
US10771717B2 (en) | 2018-07-30 | 2020-09-08 | Lumileds Llc | Use of IR pre-flash for RGB camera's automatic algorithms |
-
2019
- 2019-01-25 US US16/258,087 patent/US10771717B2/en active Active
- 2019-07-30 TW TW108127094A patent/TW202021339A/zh unknown
- 2019-07-30 WO PCT/US2019/044241 patent/WO2020028434A1/en active Application Filing
- 2019-07-30 TW TW108127095A patent/TWI801637B/zh active
- 2019-07-30 WO PCT/US2019/044242 patent/WO2020028435A1/en active Application Filing
-
2020
- 2020-07-28 US US16/941,279 patent/US11418730B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130033593A1 (en) * | 2009-10-14 | 2013-02-07 | Chinnock Randal B | Portable Retinal Camera and Image Acquisition Method |
US20130155253A1 (en) * | 2011-12-15 | 2013-06-20 | Research In Motion Limited | Apparatus and method for controlling a camera and infrared illuminator in an electronic device |
US9704250B1 (en) * | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
TWI618233B (zh) * | 2015-02-17 | 2018-03-11 | 豪威科技股份有限公司 | 用於附接之三維資訊之堆疊嵌入式矽光子雪崩二極體影像感測器 |
TWI584634B (zh) * | 2016-03-08 | 2017-05-21 | 聚晶半導體股份有限公司 | 適於產生深度圖的電子裝置與方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200036914A1 (en) | 2020-01-30 |
US11418730B2 (en) | 2022-08-16 |
TW202021339A (zh) | 2020-06-01 |
US20200358968A1 (en) | 2020-11-12 |
TW202021340A (zh) | 2020-06-01 |
US10771717B2 (en) | 2020-09-08 |
WO2020028434A1 (en) | 2020-02-06 |
WO2020028435A1 (en) | 2020-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI801637B (zh) | 用於相機之紅外光預閃光 | |
US7405762B2 (en) | Camera having AF function | |
JP2004212385A (ja) | 撮影装置とその撮影装置の撮影方法及び制御方法 | |
JP2003066321A (ja) | Af制御装置およびaf制御方法 | |
US10063795B2 (en) | Image capturing apparatus, method for controlling the same, and storage medium | |
TW201830341A (zh) | 用於暈影之補償 | |
CN111398975B (zh) | 主动传感器、物体识别系统、车辆、车辆用灯具 | |
JP6336337B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2015034850A (ja) | 撮影装置および撮影方法 | |
US20200036877A1 (en) | Use of ir pre-flash for rgb camera's automatic algorithms | |
US20190045101A1 (en) | Image pickup apparatus that performs flash shooting suitable for both main subject and background and control method therefor | |
JP5794665B2 (ja) | 撮像装置 | |
US9906705B2 (en) | Image pickup apparatus | |
JP2020515100A (ja) | ビネッティングの補償 | |
JP4509280B2 (ja) | カメラ | |
JP2012085093A (ja) | 撮像装置および取得方法 | |
CN115278098B (zh) | 图像拍摄的方法、系统及其拍摄装置 | |
WO2021015208A1 (ja) | アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具 | |
JP2013066051A (ja) | 撮影装置 | |
JP7158880B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2011114442A (ja) | 電子カメラ | |
JP2018009858A (ja) | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 | |
KR100509362B1 (ko) | 디지탈 카메라의 패시브 초점 조절 장치 및 그 방법 | |
JP2014143645A (ja) | 撮像装置及び撮像プログラム | |
JP2003332730A (ja) | 半田外観検査装置および半田外観検査方法 |