TW202021340A - 用於相機之紅外光預閃光 - Google Patents

用於相機之紅外光預閃光 Download PDF

Info

Publication number
TW202021340A
TW202021340A TW108127095A TW108127095A TW202021340A TW 202021340 A TW202021340 A TW 202021340A TW 108127095 A TW108127095 A TW 108127095A TW 108127095 A TW108127095 A TW 108127095A TW 202021340 A TW202021340 A TW 202021340A
Authority
TW
Taiwan
Prior art keywords
image
infrared light
light
infrared
visible light
Prior art date
Application number
TW108127095A
Other languages
English (en)
Other versions
TWI801637B (zh
Inventor
德 席傑德 艾爾傑恩 凡
尼可拉 貝提納 菲佛
查理斯 安得烈 史庫拉瑪
Original Assignee
美商亮銳公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/049,480 external-priority patent/US20200036877A1/en
Application filed by 美商亮銳公司 filed Critical 美商亮銳公司
Publication of TW202021340A publication Critical patent/TW202021340A/zh
Application granted granted Critical
Publication of TWI801637B publication Critical patent/TWI801637B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stroboscope Apparatuses (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本發明之影像擷取系統包括：一照明器，其包括至少一個紅外光LED或雷射及一個可見光LED；一影像感測器，其對紅外光及可見光敏感；一記憶體，其經組態以儲存指令；及一處理器，其經組態以執行指令以使該影像擷取系統發射紅外光，接收包括至少一個紅外光影像之影像資料，及基於該紅外光影像資料判定深度圖、可見光聚焦設定或紅外光曝光設定。

Description

用於相機之紅外光預閃光
本發明係關於一種影像擷取系統，且更特定言之係關於一種具有一不可見光預閃光之影像擷取系統。
使用一自動相機拍照為了一聚焦、良好曝光及白平衡圖像通常需要一自動聚焦機構、一自動曝光機構及一自動白平衡機構。當在黑暗中拍照時，此通常在預覽模式期間提供且由一可見光預閃光協助。在可見光預閃光期間，自相機發射可見光。接著，相機基於可見光預閃光接收可見光影像資料。接著，自動聚焦、自動曝光及自動白平衡之三個演算法運行以計算適當聚焦設定、曝光設定及白平衡設定。
預閃光通常為一秒至幾秒長，此取決於目標場景之環境照明。此相對長之可見光預閃光可導致被拍照人之眩光。此外，可見光預閃光可向人指示其等被拍照，從而導致人移動，改變其等面部表情等。因此，一不可見光預閃光可導致一更佳最終圖像。因而，具有其中可見光預閃光之長度減小或消除之一影像擷取系統將係有利的。
本發明描述一種具有一不可見光預閃光之影像擷取系統。在一項實施例中，在預閃光期間發射紅外光。由於紅外光幾乎不可見，故預閃光造成之干擾眩光減小或消除。本發明之該影像擷取系統包括：一紅外光照明器，其包括至少一個紅外光或雷射；一影像感測器，其對紅外光敏感；一記憶體，其經組態以儲存指令；及一處理器，其經組態以執行指令以使該影像擷取系統發射紅外光作為一預閃光，接收包括至少一個紅外光影像之影像資料，及基於該紅外光影像資料判定紅外光曝光設定。雖然本發明之該影像擷取系統被描述為具有經組態以發射紅外光之一照明器，但該照明器可經組態以發射其他不可見光。例如，在一替代性實施例中，該照明器經組態以在預閃光期間發射UV光。在此一實施例中，該影像感測器經組態以偵測UV光。
相關申請案之交叉參考
此申請案主張2019年1月25日申請之美國專利申請案第16/258,087號之優先權利，該案係2018年7月30日申請之美國申請案第16/049,480號之一部分接續案，此申請案亦主張2018年8月30日申請之歐洲專利申請案第18191725.3號之優先權利，該案宛如全文闡述般以引用的方式併入。
可透過對比度偵測達成自動聚焦。對比度偵測透過透鏡量測一感測器場內之對比度。感測器之相鄰像素之間的強度差隨著恰當影像聚焦而增大。調整光學系統直至偵測到最大對比度。可使用可見光及/或紅外光執行對比度偵測聚焦。當使用紅外光時，若相機透鏡性質略為波長相關的，則一小校正因數可為必要的。此外，寬頻帶紅外光可增大紅外光中相較於可見光R、G、B在物件反射率之間的關聯且增強不同物件之間的對比度。此可改良特定場景之最佳聚焦偵測演算法結果。另外或替代地，在一些實施例中，物件辨識方法(諸如面部辨識)可用於進行甚至更佳之尺寸距離及邊緣預測，藉此進一步改良聚焦演算法。
在一典型影像擷取裝置中，光透過一孔隙進入且藉由至少一個光學元件(諸如一透鏡)被引導至一影像感測器。自動曝光係一自動化系統，其藉由量測圖框中之光而基於外部照明條件而設定孔隙及/或快門速度。自動曝光機構通常針對一可見光相機使用反射可見光且針對一紅外光相機使用反射紅外光。在本發明中，在預閃光期間發射紅外光且使用反射紅外光來預測可見光最終影像之曝光。紅外光曝光設定接著經按比例調整至可見光曝光設定。雖然自紅外光至可見光之轉換不盡人意，但紅外光與可見光之間的偏差含於一可接受範圍內。另外，可應用適當校正因數。此外，寬頻帶紅外光可增大紅外光中相較於可見光R、G、B在物件反射率之間的關聯。另外或替代地，物件辨識方法(諸如面部辨識)可用以進行一改良預測。
自動白平衡係一自動化系統，其移除偏色，使得人身上表現為白色之物件在一照片中呈現為白色。雖然一紅外光影像不含有色彩資訊，但自動白平衡機構可使用環境白平衡設定，或在黑暗中使用預定義LED白平衡矩陣。另外或替代地，白平衡設定可在後處理期間微調。
圖1繪示一使用者裝置100，其包括先前技術之一影像擷取系統105，該影像擷取系統105包括：一照明器101；一影像感測器102；一記憶體106，其用於儲存指令；及一處理器107，其用於執行指令。照明器101係一可見光照明器，諸如一閃光LED。當影像擷取系統105啟動時，處理器107執行指令以使照明器101在一預閃光期間發射可見光110。影像感測器102接著接收包括至少一個可見光影像之影像資料。處理器107接著執行演算法以使用包括至少一個可見光影像之影像資料來判定一恰當曝光設定、聚焦設定及白平衡設定。曝光設定、聚焦設定及白平衡設定接著分別根據經計算之曝光設定、聚焦設定及白平衡設定進行調整。
先前技術之影像擷取系統105之可見光110預閃光通常為一秒至幾秒長。此相對長之預閃光可具有非預期效應，諸如被拍照人之眩光。
圖2繪示一使用者裝置200，其包括本發明之影像擷取系統205之一項實施例，其包括：一照明器201；一影像感測器202；一記憶體206，其用於儲存指令；及一處理器207，其用於執行指令。使用者裝置可為一行動電話、平板電腦、數位相機或可利用一影像擷取系統之任何其他裝置。
照明器201為至少一個可見光LED及至少一個紅外光照明器(諸如一紅外光LED或雷射)之一組合。在一項實施例中，至少一個可見光LED可發射具有350至800 nm之一波長之光，且至少一個紅外光LED或雷射可發射具有600至2500 nm之一波長之光。因而，照明器201能夠發射可見光及紅外光211兩者。
影像擷取系統205之影像感測器202對紅外光及可見光兩者之波長範圍敏感。在一項實施例中，影像感測器102對350至2500 nm之波長敏感。因而，影像感測器202能夠偵測可見光及紅外光兩者。
在一較佳實施例中，影像感測器202包括至少兩個像素類型。在一項實施例中，影像感測器202包括四個像素類型。在一進一步實施例中，影像感測器202包括下列四個像素類型：R、G、B及透明/紅外光。在一進一步實施例中，影像感測器202之紅外光像素為R、G、及B濾光器之一堆疊，該等濾光器相較於R、G、及B (可見光)像素避免紅外光像素之過度曝光。
當影像擷取系統205啟動時，處理器判定是否需要閃光。若需要閃光，則處理器執行指令以使照明器201在一預閃光期間發射紅外光211。影像感測器202接著接收包括至少一個紅外光影像之影像資料。處理器207執行演算法以使用包括至少一個紅外光影像之影像資料來判定紅外光曝光設定。處理器207接著將紅外光曝光設定按比例調整至可見光曝光設定。接著根據經判定曝光設定調整曝光。
在一項實施例中，處理器207經進一步組態以執行指令以使影像擷取系統205基於紅外光影像資料判定紅外光聚焦設定。紅外光聚焦設定可對應於透鏡之聚焦位置。在一進一步實施例中，處理器207接著將紅外光聚焦設定按比例調整至可見光聚焦設定。接著根據經判定聚焦設定調整聚焦。另外或替代地，照明器201及影像感測器202經組態以基於至少一個紅外光影像產生一深度圖。藉由照明器201及影像感測器202產生之深度圖含有關於目標場景中之物件之表面之距離之資訊且可用於判定影像擷取系統200之最佳聚焦位置。深度圖可基於立體視覺、結構化照明或飛行時間(TOF)相機量測。
除了使用深度圖用於聚焦設定外，基於藉由一紅外光LED或雷射之照明使用紅外光影像資料產生之深度圖可用於調整閃光強度或相機曝光設定。替代地，或另外，在一些實施例中，藉由一紅外光LED或雷射之結構化或圖案化照明可用於協助或直接提供一場景之深度資訊。
在一項實施例中，具有個別可定址區段之紅外光LED或雷射可用於形成一結構化光圖案(例如，光帶)且亦容許結構化光對場景進行動態調適。例如，可使用約10 x10個區段之一IR LED或雷射矩陣，其中各區段與相關聯紅外光成像光學器件組合獨立對驅動。此配置容許產生各種照明圖案。瞭解經投影照明圖案容許校準且產生距離資訊。有利地，藉由此解決方案降低相關聯紅外光光學器件之製造需求，且可最大化效率，由於光路徑中不需要吸光元件或遮罩。兩個方向上之圖案產生亦可為保證獲得恰當距離資訊給予冗餘。
在其他實施例中，一分段紅外光LED或雷射可與一單一紅外光飛行時間(TOF)偵測器組合用於深度製圖(depth mapping)。雖然此解決方案相較於光學相機系統將具有一減小之側向解析度，但其將提供產生深度圖之一有用、便宜且非常快速之方式。
當在環境光中拍照時，處理器207經組態以根據一演算法判定白平衡設定。接著根據經判定白平衡設定調整白平衡設定。當在黑暗中拍照時(即，目標場景中不存在環境光的情況下)，在閃光期間發射之光為主光源。在此場景中，可針對白平衡設定選擇對閃光照明器調諧之預定義白平衡設定。另外或替代地，面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地，白平衡設定可在處理後微調。
在曝光、聚焦及白平衡設定已經調整至其等經判定設定之後，處理器207執行指令以使照明器201在一閃光期間發射可見光。影像感測器202接著擷取最終影像。
雖然本發明之影像擷取系統205被描述為具有經組態以發射紅外光之一照明器201，但照明器201可經組態以發射其他不可見光。例如，在一替代性實施例中，照明器201經組態以在預閃光期間發射UV光。在此一實施例中，影像感測器201經組態以偵測UV光。
使用一單一影像感測器202來提供紅外光影像資料及可見光影像資料減少影像擷取系統內之組件數目，從而進一步容許製造更緊湊之影像擷取系統。
在一替代性實施例中，本發明之影像擷取系統包括至少兩個影像感測器，其等包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器。圖3繪示一使用者裝置300，其包括本發明之影像擷取系統305之一實施例，該影像擷取系統包括：一照明器301；一第一影像感測器302；一第二影像感測器303；一記憶體306，其用於儲存指令；及一處理器307，其用於執行指令。使用者裝置可為一行動電話、平板電腦、數位相機或可利用一影像擷取系統之任何其他裝置。
照明器301為至少一個可見光LED及至少一個紅外光LED或雷射之一組合。在一項實施例中，至少一個可見光LED發射具有在350至800 nm之一範圍內之一波長之光，且至少一個紅外光LED或雷射發射具有在600至2500 nm之一範圍內之一波長之光。因而，照明器301能夠發射可見光及紅外光311兩者。
第一影像感測器302對紅外光敏感。在一項實施例中，第一影像感測器302對具有在600至2500 nm之一範圍內之一波長之光敏感。第二影像感測器303對可見光敏感。在一項實施例中，第二影像感測器302對具有在350至800 nm之一範圍內之一波長之光敏感。在一較佳實施例中，第一影像感測器302與第二影像感測器303之間存在一適當相關函數。在一進一步實施例中，第一影像感測器302及第二影像感測器303針對自動聚焦、自動曝光及自動白平衡之至少一者彼此校準。
一般技術者將認識到具有至少兩個感測器之一影像擷取系統之優勢，該等感測器包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器。例如，包括R、G、B及/或透明/紅外光像素之一單一四色像素影像感測器可歸因於缺乏紅外光濾光器而被損及。在存在包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器之至少兩個感測器的情況下，具有對一可見光波長範圍之一敏感度之影像感測器歸因於缺乏紅外光濾光器而不被損及。
雖然圖3中繪示之影像擷取系統305被展示為具有兩個影像感測器，但可存在包括具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器之超過兩個影像感測器。在一項實施例中，具有對一紅外光波長範圍之一敏感度之至少一個影像感測器對具有在600至2500 nm之一範圍內之一波長之光敏感，且具有對一可見光波長範圍之一敏感度之至少一個影像感測器對具有在350至800 nm之一範圍內之一波長之光敏感。
當影像擷取系統包括超過兩個影像感測器時，具有對一紅外光波長範圍之一敏感度之至少一個影像感測器與具有對一可見光波長範圍之一敏感度之至少一個影像感測器之間存在一適當相關函數。在一項實施例中，具有對一紅外光波長範圍之一敏感度之至少一個影像感測器及具有對一可見光波長範圍之一敏感度之至少一個影像感測器針對自動聚焦、自動曝光及自動白平衡之至少一者彼此校準。
當影像擷取系統305啟動時，處理器判定是否需要閃光。若需要閃光，則處理器307執行指令以使照明器301在一預閃光期間發射紅外光311。影像感測器302接著接收包括至少一個紅外光影像之影像資料。處理器307執行演算法以使用包括至少一個紅外光影像之影像資料來判定曝光設定。接著根據經判定曝光設定調整曝光設定。
在一項實施例中，處理器經進一步組態以執行指令以使影像擷取系統基於紅外光影像資料判定紅外光聚焦設定。紅外光聚焦設定可為一真實透鏡聚焦位置。在一進一步實施例中，處理器307將紅外光聚焦設定按比例調整至可見光聚焦設定。接著根據經判定聚焦設定調整聚焦。
另外或替代地，能夠發射紅外光之照明器301及對紅外光波長範圍敏感之影像感測器302經組態以基於至少一個紅外光影像產生一深度圖。藉由照明器301及影像感測器302產生之深度圖含有關於目標場景中之物件之表面之距離之資訊且可用於判定影像擷取系統300之相機透鏡之最佳聚焦位置。如先前相對於關於圖2論述之實施例提及，可使用具有可用於形成一結構化光圖案之個別可定址區段之紅外光LED或雷射，藉由紅外光TOF或任何其他可用紅外光深度圖技術產生深度圖。
當在環境光中拍照時，處理器307經組態以根據一演算法判定白平衡設定。接著根據經判定白平衡設定調整白平衡設定。當在黑暗中拍照時(即，目標場景中不存在環境光的情況下)，在閃光期間發射之光為主光源。在此場景中，可針對白平衡設定選擇對閃光照明器調諧之預定義白平衡設定。另外或替代地，面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地，白平衡設定可在後處理期間微調。
在已經根據經判定設定調整曝光、聚焦及白平衡設定之後，處理器307執行指令以使照明器301在一閃光期間發射可見光。對可見光敏感之影像感測器303接著擷取最終影像。
在預閃光期間使用紅外光顯著降低或消除預閃光期間之可見光脈衝長度。因而，避免與可見光預閃光相關聯之非所要效應。
雖然本發明之影像擷取系統305被描述為具有經組態以發射紅外光之一照明器301，但照明器301可經組態以發射其他不可見光。例如，在一替代性實施例中，照明器301經組態以在預閃光期間發射UV光。在此一實施例中，至少一個影像感測器經組態以偵測UV光。
圖4A係展示使用本發明之影像擷取系統之一方法之一流程圖，該影像擷取系統在存在環境照明時之一預閃光期間使用紅外光。可在本發明之影像擷取系統205或影像擷取系統305上採用此方法。若在目標場景中偵測到環境光，則在步驟401執行一環境照明預覽。在此預覽期間，運行演算法以判定是否需要閃光及預閃光。所擷取之環境光之量將判定是否需要閃光及預閃光。若處理器判定需要閃光，則在步驟402，處理器執行指令以使影像擷取系統發射紅外光預閃光。接著在步驟403，處理器執行指令以使影像擷取系統接收包括至少一個紅外光影像之影像資料且基於至少一個紅外光影像判定紅外光曝光設定。在一些實施例中，步驟403進一步包括處理器執行指令以基於紅外光影像確認聚焦位置。在步驟404，接著將紅外光曝光設定按比例調整至可見光曝光設定。若在步驟403中確認紅外光聚焦設定，則步驟404進一步包括將紅外光聚焦設定按比例調整至可見光聚焦設定。接著在步驟405，處理器執行指令以使影像擷取系統將曝光設定調整至經按比例調整曝光設定。最後，在步驟406，處理器執行指令以使影像擷取系統發射可見光作為一閃光且影像感測器擷取一最終可見光影像。
雖然圖4A之方法被描述為具有一紅外光預閃光，但方法可使用其他不可見光用於預閃光。例如，在一替代性實施例中，方法包括在步驟402之一UV光預閃光。因此，在此實施例中，步驟403包括基於至少一個UV影像判定UV曝光設定且步驟404包括將UV曝光設定按比例調整至可見光曝光設定。
圖4B係展示使用本發明之影像擷取系統之一方法之一流程圖，該影像擷取系統在目標場景中無環境照明時之一預閃光期間使用紅外光。可在本發明之影像擷取系統205或影像擷取系統305上採用此方法。若在步驟410在目標場景中未偵測到環境光，則處理器判定需要閃光。在步驟411，處理器執行指令以使影像擷取系統發射紅外光作為一預閃光。接著在步驟412，處理器執行指令以使影像擷取系統接收包括至少一個紅外光影像之影像資料且基於至少一個紅外光影像及/或深度圖判定紅外光曝光設定及紅外光聚焦設定兩者。在特定實施例中，具有個別可定址區段之一分段紅外光LED或雷射可用於在對於一紅外光泛光照明器必要時均勻照明一場景，然而另外調諧選定區中之光強度以補償高反射物件或更大距離。在步驟413，將紅外光曝光設定按比例調整至可見光曝光設定，且將紅外光聚焦設定或距離量測按比例調整至可見光曝光設定及可見光聚焦設定。接著在步驟414，處理器執行指令以使影像擷取系統將曝光設定及聚焦設定分別調整至經按比例調整曝光設定及經按比例或經計算之聚焦設定。當在黑暗中拍照時(即，目標場景中不存在環境光的情況下)，在閃光期間發射之光為主光源。可針對白平衡設定選擇對閃光照明器調諧之一預定義白平衡。另外或替代地，面部及物件辨識可用作自動白平衡機構之資訊。另外或替代地，白平衡設定可在圖像之後處理期間微調。因此，在步驟415，處理器執行指令以使影像擷取系統發射可見光作為一閃光，按照預定義設定調整白平衡且擷取最終影像。
雖然圖4B之方法被描述為具有一紅外光預閃光，但方法可使用其他不可見光用於預閃光。例如，在一替代性實施例中，方法包括在步驟411之一UV光預閃光。因此，在此實施例中，步驟412包括基於至少一個UV影像判定UV曝光設定及UV聚焦設定且步驟413包括將UV曝光設定按比例調整至可見光曝光設定。
圖5係比較來自使用可見光之一自動曝光機構之量測與來自使用紅外光之一自動曝光機構之量測之一圖表。如在圖4中繪示，在使用可見光照明時對比在使用紅外光照明時自目標場景接收之信號自0.3x變化至1.2x。此示範藉由紅外光判定之自動曝光可用於計算可見光之合理曝光設定。為了避免過度曝光，可見光曝光設定將被設定為一較低比率且可藉此偏離最佳設定達3倍。
影像雜訊為影像中之亮度或色彩資訊之一隨機變化且通常為若干雜訊源之一態樣，其中散粒雜訊通常係最大的。散粒雜訊係光子之粒子性質之一結果且係歸因於隨時間收集之光子之統計變化。散粒雜訊隨著光子數目之平方根增大。因此，一般言之，光子計數愈低，則信雜比(SNR)愈差。藉由一影像感測器之一個像素收集之光子數目與影像之亮度以及曝光時間及像素大小成比例。
影像雜訊可藉由一影像感測器產生。在圖6A及圖6B中繪示來自使用具有上文提及之3倍之按比例降低之紅外光預閃光之一影像擷取系統之白色區域之雜訊位準。在圖6C中繪示使用可見光預閃光之一影像擷取系統之雜訊以用於比較。
圖6C繪示具有設定為400之一ISO及30 ms之一曝光時間之最佳可見光曝光函數。在圖6A中，ISO亦被設定為400，但可見光閃光之曝光時間降低至10 ms，且放大率被設定為3。降低可見光閃光之曝光時間作為避免過度曝光之一方式。當曝光時間減少至10 ms時，影像雜訊稍微增大，如藉由圖6A及圖6C之一比較繪示。此由曝光時間減少時，散粒雜訊之增大而造成。
圖6B繪示紅外光預閃光可用於判定曝光設定而不顯著增加雜訊。在圖6B中，ISO為133，曝光時間為30 ms且放大率被設定為3。因此，圖6B模擬當在預閃光期間使用紅外光時之曝光不足設定。圖6B及圖6C之一比較示範可校正曝光不足而不增加影像雜訊。因而，在預閃光期間使用紅外光之一影像擷取系統可在預閃光期間消除可見光而不增加影像雜訊。
100:使用者裝置 101:照明器 102:影像感測器 105:影像擷取系統 106:記憶體 107:處理器 110:可見光 200:使用者裝置 201:照明器 202:影像感測器 205:影像擷取系統 206:記憶體 207:處理器 211:紅外光 300:使用者裝置 301:照明器 302:第一影像感測器 303:第二影像感測器 305:影像擷取系統 306:記憶體 307:處理器 311:紅外光 401:步驟 402:步驟 403:步驟 404:步驟 405:步驟 406:步驟 410:步驟 411:步驟 412:步驟 413:步驟 414:步驟 415:步驟
圖1繪示包括使用可見光預閃光之先前技術之一影像擷取系統之一使用者裝置。
圖2繪示包括具有一單一四色像素相機之本發明之影像擷取系統之一實施例之一使用者裝置。
圖3繪示包括具有兩個或兩個以上相機之本發明之影像擷取系統之一替代性實施例之一使用者裝置。
圖4A係展示在環境光中使用本發明之影像擷取系統之一方法之一流程圖。
圖4B係展示在低光或暗光中使用本發明之影像擷取系統之一方法之一流程圖。
圖5係比較使用可見光之一自動曝光機構與使用紅外光之一自動曝光機構之一圖表。
圖6A係繪示在預閃光期間使用紅外光及可見光閃光之曝光時間減小時來自白色區域之雜訊位凖之一圖表。
圖6B係繪示在預閃光期間使用紅外光及可見光閃光之ISO降低時來自白色區域之雜訊位凖之一圖表。
圖6C係繪示在預閃光及閃光期間使用可見光時來自白色區域之雜訊位凖之一圖表。
200:使用者裝置
201:照明器
202:影像感測器
205:影像擷取系統
206:記憶體
207:處理器
211:紅外光

Claims (13)

  1. 一種影像擷取系統，其包括： 一照明器，其包括至少一個紅外光照明器及至少一個可見光閃光照明器； 一影像感測器，其具有對紅外光及可見光之一敏感度； 一記憶體，其經組態以儲存指令；及 一處理器，其經組態以執行指令以使該影像擷取系統： 自該紅外光照明器發射紅外光； 自該影像感測器接收包括至少一個紅外光影像之影像資料； 基於該至少一個紅外光影像判定一深度圖。
  2. 如請求項1之影像擷取系統，其中該紅外光照明器進一步包括個別可定址區段。
  3. 如請求項1之影像擷取系統，其進一步包括一立體視覺系統、一結構化照明系統及一紅外光飛行時間感測器之至少一者來判定一深度圖。
  4. 如請求項1之影像擷取系統，其中該處理器經進一步組態以執行指令以使該影像擷取系統基於該深度圖判定紅外光及可見光聚焦設定之至少一者。
  5. 如請求項4之影像擷取系統，其中該處理器經進一步組態以判定紅外光聚焦設定及按比例調整以提供一可見光聚焦設定。
  6. 如請求項1之影像擷取系統，其中該處理器經進一步組態以執行指令以使該影像擷取系統將白平衡設定調整至預定義白平衡設定。
  7. 如請求項1之影像擷取系統，其中該處理器經進一步組態以執行指令以使該影像擷取系統發射可見光作為一閃光且擷取一最終可見光影像。
  8. 如請求項1之影像擷取系統，其中該處理器經進一步組態以將紅外光曝光設定按比例調整至一可見光曝光設定。
  9. 一種用於擷取一影像之方法，該方法包括： 發射紅外光； 接收包括至少一個紅外光影像之影像資料； 基於該至少一個紅外光影像判定一深度圖；及 發射可見光作為一閃光以擷取一最終影像。
  10. 如請求項9之方法，其進一步包括至少部分基於該深度圖調整紅外光及可見光聚焦設定之至少一者。
  11. 如請求項9之方法，其進一步包括將紅外光曝光設定按比例調整至可見光曝光設定。
  12. 如請求項9之方法，其進一步包括：基於該至少一個紅外光影像判定聚焦設定；將該等紅外光聚焦設定按比例調整至可見光聚焦設定；及根據該等經判定聚焦設定調整聚焦。
  13. 如請求項9之方法，其進一步包括將白平衡設定調整至預定義白平衡設定。
TW108127095A 2018-07-30 2019-07-30 用於相機之紅外光預閃光 TWI801637B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US16/049,480 2018-07-30
US16/049,480 US20200036877A1 (en) 2018-07-30 2018-07-30 Use of ir pre-flash for rgb camera's automatic algorithms
EP18191725.3 2018-08-30
EP18191725 2018-08-30
US16/258,087 2019-01-25
US16/258,087 US10771717B2 (en) 2018-07-30 2019-01-25 Use of IR pre-flash for RGB camera's automatic algorithms

Publications (2)

Publication Number Publication Date
TW202021340A true TW202021340A (zh) 2020-06-01
TWI801637B TWI801637B (zh) 2023-05-11

Family

ID=69178361

Family Applications (2)

Application Number Title Priority Date Filing Date
TW108127094A TW202021339A (zh) 2018-07-30 2019-07-30 用於相機之紅外光預閃光
TW108127095A TWI801637B (zh) 2018-07-30 2019-07-30 用於相機之紅外光預閃光

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW108127094A TW202021339A (zh) 2018-07-30 2019-07-30 用於相機之紅外光預閃光

Country Status (3)

Country Link
US (2) US10771717B2 (zh)
TW (2) TW202021339A (zh)
WO (2) WO2020028434A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10771717B2 (en) 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
US10931894B2 (en) 2018-10-31 2021-02-23 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US10982836B2 (en) * 2018-10-31 2021-04-20 Microsoft Technology Licensing, Llc Tunable spectral illuminator for camera
US11070738B2 (en) * 2019-10-02 2021-07-20 Qualcomm Incorporated Infrared-assisted pre-flash
CN111982285B (zh) * 2020-07-22 2021-06-11 西北工业大学 一种双黑体的红外偏振焦平面发射红外光消除方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
EP1797711B1 (en) 2004-10-06 2013-08-28 Inon, Inc. Light emission control of external flash for digital camera
TWI265368B (en) 2005-03-22 2006-11-01 Compal Electronics Inc Method of using flash light pre-flash for focus
US7566855B2 (en) 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response
US7609291B2 (en) 2005-12-07 2009-10-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Device and method for producing an enhanced color image using a flash of infrared light
EP1811771B1 (en) 2006-01-20 2009-04-29 Fluke Corporation Camera with visible light and infrared image blending
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP2010093472A (ja) 2008-10-07 2010-04-22 Panasonic Corp 撮像装置および撮像装置用信号処理回路
WO2011047214A2 (en) * 2009-10-14 2011-04-21 Optimum Technologies, Inc. Portable retinal camera and image acquisition method
US8379134B2 (en) 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
EP2605505B1 (en) 2011-12-15 2016-05-04 BlackBerry Limited Apparatus and method for controlling a camera and infrared illuminator in an electronic device
US9413939B2 (en) * 2011-12-15 2016-08-09 Blackberry Limited Apparatus and method for controlling a camera and infrared illuminator in an electronic device
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9420248B2 (en) 2014-09-19 2016-08-16 Qualcomm Incorporated Multi-LED camera flash for color temperature matching
US9704250B1 (en) * 2014-10-30 2017-07-11 Amazon Technologies, Inc. Image optimization techniques using depth planes
US9608027B2 (en) * 2015-02-17 2017-03-28 Omnivision Technologies, Inc. Stacked embedded SPAD image sensor for attached 3D information
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
US10771717B2 (en) 2018-07-30 2020-09-08 Lumileds Llc Use of IR pre-flash for RGB camera's automatic algorithms
US20200036877A1 (en) 2018-07-30 2020-01-30 Lumileds Llc Use of ir pre-flash for rgb camera's automatic algorithms

Also Published As

Publication number Publication date
US10771717B2 (en) 2020-09-08
US11418730B2 (en) 2022-08-16
US20200358968A1 (en) 2020-11-12
WO2020028434A1 (en) 2020-02-06
TWI801637B (zh) 2023-05-11
US20200036914A1 (en) 2020-01-30
WO2020028435A1 (en) 2020-02-06
TW202021339A (zh) 2020-06-01

Similar Documents

Publication Publication Date Title
TWI801637B (zh) 用於相機之紅外光預閃光
US7405762B2 (en) Camera having AF function
JP5020651B2 (ja) 撮像装置及び撮像システム
JP2004212385A (ja) 撮影装置とその撮影装置の撮影方法及び制御方法
JP2003066321A (ja) Ａｆ制御装置およびａｆ制御方法
US10063795B2 (en) Image capturing apparatus, method for controlling the same, and storage medium
CN111398975B (zh) 主动传感器、物体识别系统、车辆、车辆用灯具
JP7005175B2 (ja) 距離測定装置、距離測定方法及び撮像装置
JP6336337B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2011069893A (ja) 照明装置およびカメラシステム
JP2015034850A (ja) 撮影装置および撮影方法
US20200036877A1 (en) Use of ir pre-flash for rgb camera's automatic algorithms
JP7118776B2 (ja) 撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP5794665B2 (ja) 撮像装置
US9906705B2 (en) Image pickup apparatus
JP5163498B2 (ja) カメラシステム
JP2007033653A (ja) 焦点検出装置及びそれを用いた撮像装置
JP2012203278A (ja) 撮像装置、レンズ装置、およびカメラシステム
JP2021127998A (ja) 距離情報取得装置および距離情報取得方法
WO2021015208A1 (ja) アクティブセンサ、ゲーティングカメラ、自動車、車両用灯具
CN115278098B (zh) 图像拍摄的方法、系统及其拍摄装置
JP7158880B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2007171518A (ja) 撮像装置、撮像装置の制御方法及び制御プログラム
KR100509362B1 (ko) 디지탈 카메라의 패시브 초점 조절 장치 및 그 방법
JP5298705B2 (ja) 撮像装置