TW201830341A - 用於暈影之補償 - Google Patents

用於暈影之補償 Download PDF

Info

Publication number
TW201830341A
TW201830341A TW106145407A TW106145407A TW201830341A TW 201830341 A TW201830341 A TW 201830341A TW 106145407 A TW106145407 A TW 106145407A TW 106145407 A TW106145407 A TW 106145407A TW 201830341 A TW201830341 A TW 201830341A
Authority
TW
Taiwan
Prior art keywords
image data
illumination
light
image
illuminator
Prior art date
Application number
TW106145407A
Other languages
English (en)
Other versions
TWI731206B (zh
Inventor
羅伯 雅克斯 保羅 安傑倫
Original Assignee
美商亮銳公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商亮銳公司 filed Critical 美商亮銳公司
Publication of TW201830341A publication Critical patent/TW201830341A/zh
Application granted granted Critical
Publication of TWI731206B publication Critical patent/TWI731206B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Abstract

一種包含一影像擷取系統之系統，該影像擷取系統具有在該影像擷取系統之一視域內變化之一感測效率，該系統可採用經塑形照明來補償該感測效率之該變化。一照明器可經組態以用經塑形以在該感測效率較低之處、例如在視域之周邊處具有較高強度之照明來對該影像擷取系統之該視域進行照明。成像系統因此可提供具較均勻信號雜訊比之影像資料。可使用來自一未經照明場景之資料來操縱來自一經照明場景之影像資料以產生經改良影像資料。

Description

用於暈影之補償
攝影或成像中之暈影係一效應，其中一影像之一部分(諸如周邊)比影像之另外部分暗或不飽和。在某些攝影中暈影可係有意或所要的以達成一期望影像效應或有美感。在其他情形中，無意及不想要暈影由一相機之限制或不恰當設定造成。數位影像校正可減少或消除不期望暈影，但是雖然數位影像處理可改良一影像之外觀，但數位處理不可改良影像資料之準確性。因此，在某些應用(諸如一個時差測距相機或機器視覺成像)中，影像後處理可係無效的，此乃因額外處理並不改良影像資料之信號雜訊比(SNR)且可能使信號雜訊比(SNR)惡化。
根據本發明之一態樣，可對一場景或物件進行照明以補償否則將導致一成像系統之暈影。作為一實例，對應於成像系統之視域之角隅之區域中之照明可比對應於視域之中心之區域中之照明更強烈。此外，成像系統可使用提供根據影像擷取系統之能力經特定塑形之照明之照明器。某些系統可基於針對一場景所收集之兩個或兩個以上版本之影像資料來操縱影像資料，諸如藉由基於來自一第二版本之影像資料移除來自一第一版本之資料。某些系統可採用僅對自系統之照明器發射之光敏感之影像擷取技術，使得可避免不受控制之周圍光照之影響。此等成像系統中之某些成像系統可尤其適合於3D相機/手勢控制相機或用於暗設定之相機系統。 根據一實施方案，一成像系統包含一影像擷取系統及一照明器。影像擷取系統具有在影像擷取系統之一視域內變化之一感測效率，且照明器用具有經塑形以在感測效率較低之處具有較高強度之一分佈之照明來對影像擷取系統之視域進行照明。 根據另一實施方案，一種用於收集影像資料之方法包含用具有一經塑形分佈之照明來對一場景進行照明，該經塑形分佈在一影像擷取系統之感測效率較低之處具有較高強度。影像擷取系統可然後擷取表示如用具有經塑形分佈之照明所照明之場景之影像資料。影像資料可具有一實質上均勻信號雜訊比或可用於產生具有一實質上均勻信號雜訊比之影像資料。
相關申請案交叉參考 本申請案主張於2016年12月23日提出申請之美國臨時專利申請案第62/438,956號及於2017年12月21日提出申請之美國非臨時申請案第15/851,240號之權益，該美國臨時專利申請案及該美國非臨時申請案如同完整陳述一般以引用方式併入本文中。 根據本文中所闡述之實施例，一成像系統可採用一照明器，該照明器經組態以提供經塑形以減少或避免影像中之暈影或其他變化之照明及/或提供具較均勻信號雜訊比(SNR)之影像資料(尤其與可在一後處理階段期間校正暈影從而導致不均勻及/或較高SNR之傳統影像資料相比)。照明器可特定地經調適以提供具有一強度分佈之照明，該照明具有特定地基於一影像擷取系統之特性(例如，成像光學器件及感測陣列之能力)之一形狀。照明器可給照明提供一固定形狀(例如由照明器硬體、透鏡及光源造成之一形狀)或提供可(舉例而言)根據當前周圍光照條件或影像擷取系統之當前設定程式化或改變之照明。在某些實施方案中，成像系統可包含相匹配之一照明器及影像擷取系統，使得照明補償影像擷取系統之不均勻感測效率且使得影像擷取系統僅對來自照明器之照明敏感。 圖1係根據本發明之一項實施方案之一系統100之一方塊圖。系統100可係擷取影像資料之任何類型之裝置或收集裝置。舉例而言，系統100可係一相機(諸如一安全相機，一3D相機、一深度感測相機、一夜視相機或者一生物識別相機或生物感測相機)，且可係一多功能裝置或可係一多功能裝置之部分(諸如一行動電話、一電腦、一機器人、一工業系統或具有或採用成像能力之一交通工具)，或可係需要表示或擷取一視域內之一場景之資料的任何類型之系統。系統100特定而言可係或可包含處理影像資料之一系統且如下文進一步闡述可能夠擷取或產生具有跨越一影像之不同區域之SNR之影像資料。應理解，儘管使用一系統來闡述此實施方案，但該系統可係一單個裝置或裝置之一組合，如本文中所闡述。 如所圖解說明，系統100包含操作以自一視域150擷取影像或影像資料之一照明器110、一影像擷取系統120及一處理系統130。成像系統100 (或特定地照明器110與影像擷取系統120之間的間隔)可相對於視域150內之物件或場景較小，使得照明器110與影像擷取系統120之光軸可大約彼此共線。 照明器110可係一光照系統，該光照系統能夠提供覆蓋影像擷取系統120之視域150內之一物件或一場景之至少一部分之照明。照明器110可包含一或多個光源(諸如發光二極體(LED)或半導體雷射)及光學器件，該等光學器件一起經組態以提供照明之閃光或曝光或連續照明，該連續照明經塑形(例如)具有變化且特定而言隨來自照明器110之光射線相對於照明器110之光軸之角度而變化之一強度分佈。本文中闡述適合照明器之實施方案之某些實例且照明器110在本文中用作可應用於一或多個適合照明器之一照明器之一個一般參考。 影像擷取系統120可係能夠擷取靜態影像或影像序列(例如，視訊)之一攝影機。影像擷取系統120可係包含攝影機技術中眾所周知之設計之任何設計。在圖1中所圖解說明之一般組態中，影像擷取系統120包含成像光學器件122及一影像感測器124。在一項一般組態中，成像光學器件122可包含(舉例而言)操作以在影像感測器124上形成一影像之一或多個透鏡、聚焦系統及光圈控制系統。舉例而言可係一電荷耦合裝置(CCD)或一CMOS感測器陣列之影像感測器124感測來自由成像光學器件122形成之影像之光且將影像資料提供至處理系統130。影像資料可(舉例而言)包含一或多個陣列之像素值，其中每一像素值表示一像素感測器針對視域150中之一對應區域或角度範圍所感測之一強度、色彩、陰影、反射或光譜成分。 處理系統130可提供對成像擷取系統120之一般控制(舉例而言)以設定影像擷取之參數或起始影像擷取，且處理系統130可包含具用於彼等功能之適合軟體或韌體之一習用微控制器。處理系統130可特定地設定或偵測影像擷取系統之設定或特性，該等設定或特性控制視域150之邊界及效率，在該效率下影像感測器124中之像素感測器感測來自視域150之各別區域之光。處理系統130可進一步控制照明器110以提供對於影像擷取系統120之當前組態(例如，影像擷取系統120之焦點或放大率)或對於在影像擷取期間可能存在之周圍光照之校正照明。處理系統130可進一步處理來自影像擷取系統120之影像資料(舉例而言)以僅僅儲存資料儲存器(未展示)中之影像資料或執行一功能(諸如辨識物件、提取深度資訊、進行色彩校正或執行光譜分析等等)。處理系統130可基於兩個或兩個以上所擷取影像資料進一步處理影像資料之操縱，諸如藉由自一第二影像資料減去一第一影像資料，如本文中進一步揭示。 成像光學器件122之組態以及影像感測器124之大小及組態可判定或定義視域150之邊界。然而，在諸多組態中，影像擷取系統120可不能夠針對整個視域150提供均勻敏感度或均勻感測效率。舉例而言，成像光學器件122中之光圈之大小可使得影像擷取系統120較不能夠收集來自視域150之周邊之光，此造成暈影。圖2A圖解說明一實例性影像擷取系統之感測效率之一實例。一成像系統中之一像素感測器之感測效率可定義為由像素感測器感測之強度與自對應於像素的一視域中之區或角度範圍始發之光之強度的一比率或依據該比率判定。可藉由將一均勻場(例如，藉由影像擷取系統中之感測陣列均勻照亮且感測之一白色螢幕)考量為經均勻照亮來針對一理想影像擷取系統例示此感測效率。在此情形中，影像擷取系統中之一感測器陣列將跨越感測器陣列之區域理想地量測均勻強度。在實際影像擷取系統中，影像感測器中之不同像素感測器可量測不同強度，例如，由於影像擷取系統之能力之限制而收集來自視域中之不同區域之光。如圖2A中所展示，經受暈影之一典型影像擷取系統可在影像擷取系統之視域之中心處具有一最高感測效率，此可係因為系統能夠擷取較大比例的在視域之中心處始發之光。圖2A展示視域之中心，其具有峰值感測效率(指定一相對值1.0)。圖2A中之等值線展示經定位較接近於影像感測器之邊緣之像素感測器之感測敏感度如何下降，此將導致影像之暈影及接近視域之邊緣之像素之相關聯像素資料中之較高信號雜訊比。在利用具如圖2A之實例中所展示之感測效率之一成像擷取系統之情況下，一經均勻照亮場景之一影像在視域之角隅處將具有係一理想成像系統將量測之強度位準之約40％之所量測強度位準。 較低所量測強度位準(諸如在圖2A之實例中展示為趨於角隅之位準)可致使信號雜訊比惡化，此乃因信號雜訊比通常取決於所量測強度位準。此處，較低強度位準可對應於圖2A中之視域之角隅處之一較高信號雜訊比。應用後處理技術來試圖改良視域之角隅處之一影像品質可致使一更高(更惡劣)信號雜訊比。此在特定成像系統(諸如安全相機、時差測距相機、深度感測相機、3D成像器、夜視相機及諸如此類)中可能尤其成問題。 照明器110可提供具有經塑形以補償暈影或感測敏感度之其他變化之一強度分佈之照明。特定而言，照明可具有在角度空間上塑形之一圖案。圖2B展示圖解說明根據所揭示標的物之一實施方案之補償圖2A中所圖解說明之不均勻感測效率之一強度分佈的一等值線圖。圖2B中所展示之視域內之照明強度可與圖2A中所展示之視域內之對應感測效率成反比。圖2B中繪製照明隨相對於自照明器110至照明器110之視域之中心之一射線之角度而變的曲線圖。一影像擷取系統中之對應像素感測器可自影像擷取系統之視域內之一場景依據各別光角度來偵測光。圖2B並不展示將對成像系統之視域外之區域進行照明之照明。在成像系統之視域外成像不需要照明，因此來自照明器110之照明器強度並非係關鍵的且在視域角度之範圍外可係0。 由一照明器110提供之照明係展示於圖2B中且在視域之一中心處具有一最低照明強度(指定1.0之一相對強度因子)。朝向視域之邊緣照明強度增加。舉例而言，在視域之角隅處，照明具有2.5之一相對強度，其係視域之中心處之照明之250％。若照明強度之增加補償影像擷取之感測效率之降低，則使用此照明之一成像系統可跨越感測陣列達成均勻有效感測效率。在所圖解說明之實例中，對於每一像素感測器，來自圖2A之相對敏感度因子與來自圖2B之對應相對強度因子之乘積係一致的。在中心處，相對擷取因子1.0與相對照明因子1.0之乘積係1，且在角隅處相對擷取因子0.4與相對照明因子2.5之乘積亦係1。 圖2A中所圖解說明之照明可完全或實質上完全補償由圖2A中所圖解說明之可變感測效率所致使的一影像或影像資料之暈影或SNR變化。根據所揭示標的物之一實施方案，影像擷取系統可僅擷取照明器110係其原始源之反射光。此可透過使用僅對具有例如來自照明器110之光之偏光、頻率或波長之特性的光敏感之一影像擷取系統而(至少實質上上)達成。舉例而言，照明器110可產生一窄光譜頻帶中之照明，且影像擷取系統可包含調諧至照明頻帶且允許來自照明器110之大部分光通過之一光譜濾光器。此外，可關斷及接通照明器110以用於擷取在「暗」及「亮」照明下一場景之影像，且一處理系統可自一亮影像資料減去對應於一暗影像之影像資料以產生對應於在場景僅處於來自照明器110之照明下之情況下將造成之一影像的影像資料。同步影像偵測技術可類似地在根據攝影機之圖框速率或影像擷取定時選擇之頻率及相位下調變來自照明器110 (接通及關斷)之光。舉例而言，來自一照明器110之照明之閃光之頻率可比一攝影機之圖框速率高得多且/或提供相對於攝影機中影像擷取之一相位差使得時差測距計算可使用影像資料且判定距照明器110所照明之物件之距離。同步影像偵測技術之變化可用於時差測距成像。 相機或影像擷取系統可擷取周圍光及自視域中之物件反射的來自照明器110之光。根據所揭示標的物之一實施方案，照明器110可提供基於針對視域可能預期或量測之周圍照明而變更或根據該周圍照明而經調適之照明。舉例而言，對於一經均勻照亮場景，可操作照明器110以提供在添加至均勻周圍光之情況下提供如圖2B中所展示之總強度且藉此補償圖2A中所圖解說明之相對感測效率的照明。通常，一場景中之周圍光(例如，來自諸如室內光照或習用相機閃光系統之一習用光源)可不係均勻的且可加劇暈影，且可需要與此周圍光一起使用之一照明器110以提供經塑形以補償由影像擷取系統之限制及周圍光照之限制兩者致使之效應之照明。特定而言，因此照明器110可需要補償照明暈影及成像暈影，此要求照明器110產生比由圖2A及圖2B之實例所圖解說明更強之補償。 影像擷取系統可針對一給定場景擷取兩個或兩個以上影像資料集合。可(舉例而言)藉由擷取背對背影像資料來收集該兩個或兩個以上影像資料集合。可在一照明器110對場景進行照明之情況下收集一第一影像資料。可在無來自照明器110之照明之情況下擷取一第二影像資料且可在具有對場景進行之照明之周圍光之情況下擷取場景之影像資料。一處理組件(諸如一微處理器、一微控制器或任何其他可適用處理組件)可經組態以操縱兩個或兩個以上影像資料集合以產生經改良影像資料，該經改良影像資料可用於安全系統、3D系統、深度感測、物件辨識、夜視、生物識別及感測或諸如此類。經改良影像資料可組合第一影像資料與第二影像資料使得所得經改良影像資料含有一均勻信號雜訊比。另一選擇係，經改良影像資料可係自在照明器110對場景進行照明之情況下擷取之第一影像資料減去在周圍光下擷取之第二影像資料之結果。此經改良影像資料可(舉例而言)允許處理組件以相同格式(相當資料儲存於系統中)收集影像資料。可比較經改良影像資料與相當影像資料以用於物件辨識(諸如面部辨識)。更具體而言，自在照明器之光下擷取之第一影像資料減去在周圍光下擷取之第二影像資料可造成可對應於一標準化資料格式之經改良影像資料。在此實例中，在經改良影像資料中可移除周圍光對一場景之影響使得可比較該經改良影像資料與其他標準化影像資料。 可使用各種不同架構來實施圖1之照明器110。圖3A (舉例而言)圖解說明包含一光源310及光學器件320之一照明器300之組件。光源310可係經組態以發射光之任何組件(諸如一LED或一LED陣列)，且光學器件320可包含一或多個光學元件(諸如變更或控制自光學器件320射出之照明之角度分佈或形狀之菲涅耳透鏡、光柵或其他結構)。在一經裝配照明器300中，光學器件320可附接至光源310。 圖3A之照明器300之光學器件320可產生一旋轉對稱照明圖案且可較易於(例如)藉助圓形光學元件來予以設計及製造。然而，在一影像擷取系統具有一矩形視域之情況下，一旋轉對稱照明可導致大量被浪費光(亦即，視域外之光)。圖3B展示一照明器350，照明器350採用包含矩形光學元件之光學器件370以更高效地使用來自一光源360之輻射來給一矩形視域提供照明。 使用一LED作為一光源(例如，光源310或360)之一照明器可需要一光學系統(例如，光學器件320或370)，該光學系統重新塑形自光源發射之光之強度分佈之角度相依性。因此，可根據光源之光發射特性來設計光學系統。圖4 (舉例而言)展示包含一光源410之一照明器400之一剖面圖，光源410可係發射自一源區域發散之光415之一LED或其他光發射裝置。來自光源410之光415之強度取決於光源410之構造，且一典型光源可具有均勻或朗伯(Lambertian)之一角度強度分佈，舉例而言。如上所述，來自照明器400之照明425之所要角度分佈可需要一不同分佈，例如，在距照明器之一光軸較大之角度下更強烈之一分佈。為增加一視域之邊緣處之強度，一光學元件420可摺疊自一LED發散之射線使得射線在期望較多光之區域中或沿期望較多光之方向較密集(亦即，較亮)，例如，在較大發散角下較亮。 可針對此等光源之一陣列採用且重複在圖4中針對發散光之一單個源410所圖解說明之相同原理。舉例而言，在又一替代組態中，一照明器110包含一LED陣列及一光學元件陣列以塑形照明且將來自LED之照明引導至一矩形視域中。標題為「Multiple die LED and lens optical system」之美國專利第8,729,571號(舉例而言)揭示具有受控制光分佈之LED陣列或系統之架構。 圖5A (舉例而言)圖解說明一照明器500之組件，其中採用具有作為主要光學器件之一漫射器之半導體雷射之一陣列。照明器500包含一積體電路封裝510，該積體電路封裝含有垂直腔表面發射雷射(VCSEL)或其他半導體雷射之一陣列512。一漫射器520在圖5A中展示為位於一載體522上，載體522可在漫射器520之製作期間使用或用於將漫射器520附接至經裝配照明器500中之積體電路封裝510，如圖5B中所展示。漫射器520可係具有受仔細控制特性之一經工程設計漫射器，例如，具有預定義形狀及位置之微透鏡或其他光學元件的一陣列。陣列512中之一單個雷射可產生具有約20°之一發散度之光。取決於陣列512中之雷射之間隔及漫射器520中之小透鏡或其他光學元件之間隔，每一雷射可對漫射器520中之一個或多個小透鏡或光學元件進行照明。在一個組態中，漫射器520可單獨地塑形來自陣列512中之每一雷射之光。更一般而言，漫射器520將來自陣列512之光變換成具有一所要角度強度分佈之一發散光束，例如，一矩形角度扇。如圖5B中所展示，漫射器520可附接至封裝510使得漫射器520接收來自陣列512之光。 來自照明器500之照明之分佈可進一步受分別施加至陣列512中之雷射之電力或電流控制。更一般而言，某些光發射器可靠近於點源但針對每一發光區域將具有某種大小或範圍，且一光學系統趨向於形成發光區域之一失真影像。通常，來自一發光區域之周邊(例如，一LED晶粒之邊緣)之光趨向於對一光點或場景之周邊進行照明。因此可設定或變更來自一擴展源(諸如陣列512)之光之空間分佈以影響自一光學器件(諸如漫射器520)射出之照明之角度輻射圖案。 根據所揭示標的物之一實施方案，圖6展示使用擴展且空間不均勻之一光源610來產生輸出照明強度之一所要角度分佈之一照明器600。光源610可由多個及或許個別可定址個別發射器(例如，一VCSEL陣列)製成或可係一個擴展源，該擴展源產生在該擴展源之發光區域內變化的一空間照明分佈。在所圖解說明之組態中，光源610經定位以產生自光學系統620之一焦平面始發之光。圖6圖解說明一尤其簡單實施方案，其中光學系統620係一透鏡，但可採用其他或較複雜光學系統以將在光源610上之空間位置轉譯成遠場角度或以其他方式使光之空間分佈與角度分佈相關。藉助所圖解說明組態，光學系統620將來自光源610之不同區域之光引導或投影至不同遠場角度。舉例而言，光學系統620將自光學系統620之光軸上的光源610之一區域612始發之光引導為平行於光軸之光622，但光學系統620沿著取決於光學系統620之焦距f且取決於區域614相對於光學系統620之光軸之位置之一方向引導來自光源610之一離軸區域614之光624。因此，來自照明器600之光之角度分佈與自光源610發射之光之空間分佈相關，且光源610之較亮區域在來自照明器600之照明之輻射圖案中產生較亮角度區。因此，為在較大角度下產生較亮照明，光源610可被設計為或可被操作為在其周邊處較亮。 在一項實施方案中，光源610可係具有強度之單獨可控制或可定址光元件之一收集或一陣列，該等強度可被程式化或被控制之以達成所發射照明之一所要形狀。舉例而言，藉助光源610中之單獨可控制光元件之一陣列，一控制或處理系統可獨立地操作陣列中之光元件使得光源610產生光之一空間分佈，該空間分佈導致來自照明器600之一所要遠場照明。來自照明器600之照明因此可根據一影像擷取系統之感測效率而經調諧且若必要可隨影像擷取系統因老化或經變更設定之改變而變更。在一項實施方案中，一處理系統可執行軟體，該軟體根據與照明器600一起使用之一影像擷取系統之焦點、放大率或另一特性之改變而改變來自光源610之照明。 圖7係一處理系統700之另一實施方案之一方塊圖，該處理系統採用塑形引導至一影像擷取系統720之一視域750中之照明之一照明器710。處理系統700可係一電腦(例如，一個一般用途計算系統)或可係主要意欲執行一特定功能集合之一系統(例如，一行動電話、平板電腦、可穿戴式裝置或一個時差測距相機)，且處理系統700之組件可整合至一單個裝置(例如，一可攜式或手持式裝置)中或可由多個可拆卸式組件構成(例如，具有一或多個周邊裝置之一電腦)。處理系統700可特定地包含與處理硬體相關聯之一處理器730，該處理硬體准許處理器730存取可儲存於一記憶體740中之資料(例如，影像資料745)及執行指令(例如，軟體或韌體)。處理器730可(舉例而言)包含能夠執行程式指令之一或多個中央處理單元(CPU)或處理核心且可包含使CPU或核心能夠控制經連接裝置(諸如照明器710及影像擷取720)之操作之硬體。 記憶體740可包含構成處理器730之位址空間之一部分之揮發性或非揮發性隨機存取記憶體(RAM)。圖7圖解說明一實例實施方案，其中處理器730之記憶體740含有一組可執行程式模組742、744、746及748。(此等模組742、744、746及748亦可儲存於一儲存媒體或裝置770中或一儲存媒體或裝置770上，舉例而言代替或除在可定址記憶體中之外該儲存媒體或裝置亦可包含一硬碟機或一可移除記憶體裝置。) 模組742、744、746及748可具有各種目的且在系統700執行特定程序或功能時可選擇性地被執行。舉例而言，處理器730可執行一使用者介面742以控制系統700中之輸入及輸出裝置並且接收命令或資訊或者提供資訊或內容。特定而言，除照明器710及影像擷取系統720之外，系統700亦包含介面硬體760，介面硬體760可包含輸入裝置(諸如一使用者可操作以提供輸入或命令之切換器、按鈕、一小鍵盤、一鍵盤、一滑鼠、一觸控螢幕或一麥克風)，且處理器730可執行使用者介面742以控制輸入裝置及解譯使用者動作。並且，介面硬體760亦可包含習用輸出裝置(諸如揚聲器、一音訊系統或者一觸控螢幕或其他顯示器)，且處理器730可執行使用者介面742以經由輸出裝置輸出資訊。介面硬體760可進一步包含使系統700能夠透過一網路(諸如一區域網路、一廣域網路、一電信網路或網際網路)接收或傳輸資訊之網路介面。 在使用影像擷取系統720之情況下，處理器730可執行影像擷取控制模組744以(舉例而言)回應於用影像擷取系統720擷取一影像之一命令或改變影像擷取系統720中所使用之設定(例如，焦點、光圈、濾光器或透鏡)之一命令而擷取資料。根據本文中所揭示之一態樣，在起始影像擷取時，照明器710產生經塑形以補償影像擷取系統720之限制(舉例而言)以減少所擷取影像資料中之暈影之照明。在系統700中，處理器730可執行照明器控制模組746以控制照明器710操作之時間及照明器710如何操作。特定照明器控制程序通常將取決於照明器710之能力。舉例而言，若照明器710提供具有一個固定形狀之照明，則一個照明控制程序可與影像擷取720同步地操作照明器710 (例如，與影像擷取同時或在相對於影像擷取偏移之一特定時間)。若照明器710可產生具有一可程式化形狀之照明(例如，若照明器710與圖6之照明器600類似或相同)，則處理器730可執行照明器控制程序746以選擇且產生來自照明器710之照明之一所要形狀。在一項此種實施方案，執行照明器控制模組746可基於影像擷取系統720之當前設定(亦即，基於影像擷取系統720當前正使用之焦點、光圈、濾光器或其他特徵)來識別一目標照明。由執行照明器控制模組746引起之程序可進一步偵測視域750中之周圍光照且可操作照明器710以將照明引導至視域750中，該照明單獨地或與周圍光照組合地達成視域750之經識別目標照明。藉助固定照明或藉助可程式化照明，所擷取影像資料可具有比用周圍光照或用習用閃光或光照系統將達成均勻之一SNR。 記憶體740 (或儲存器770)中之影像資料745可表示由系統700擷取之一或多個影像或圖框。除擷取影像資料745之外，系統700亦可處理影像資料。特定而言，處理器730可執行影像處理模組748以執行一處理功能，諸如辨識影像資料745中所表示之物件、提取影像資料745中所表示之物件之深度或距離資訊、對影像資料745進行色彩校正或對影像資料745執行光譜分析。 諸如上文所闡述之系統及方法可採用經塑形照明以補償不想要效應(諸如暈影)且可提供跨越一影像具有一較均勻SNR之影像資料。此等系統及方法可係尤其有用的，其中出於機械視覺、物件辨識、3D模型化或其他目的可需要進一步處理影像資料。可尤其受益於此等能力之某些應用包含但不限於安全相機、3D相機、深度感測、物件辨識、夜視相機、生物識別相機及生物感測相機。 雖然已展示且闡述本發明之特定實施例及實施方案，但熟習此項技術者將明瞭，可在其較廣泛態樣中在不背離本發明之情況下做出改變及修改，且因此，隨附申請專利範圍欲將所有此等改變及修改涵蓋於其範疇內，正如歸屬於本發明之真正精神及範疇內一樣。 儘管上文以特定組合闡述特徵及元件，但熟習此項技術者將明瞭可單獨地使用或以與其他特徵及元件之任何組合之形式使用每一特徵或元件。另外，本文中所闡述之方法可以一電腦程式、軟體或併入一電腦可讀媒體以用於由一電腦或處理器執行之韌體實施。電腦可讀媒體之實例包含電子信號(經由有線或無線連接傳輸)及電腦可讀儲存媒體。電腦可讀儲存媒體之實例包含(但不限於)一唯讀記憶體(ROM)、一隨機存取記憶體(RAM)、一暫存器、快取記憶體、半導體記憶體裝置、磁性媒體(諸如內部硬磁碟及可抽換式磁碟、磁光媒體)及光學媒體(諸如CD-ROM磁碟及數位多功能光碟(DVD))。
100‧‧‧系統
110‧‧‧照明器
120‧‧‧影像擷取系統
122‧‧‧成像光學器件
124‧‧‧影像感測器
130‧‧‧處理系統
150‧‧‧視域
300‧‧‧照明器/經裝配照明器
310‧‧‧光源
320‧‧‧光學器件
350‧‧‧照明器
360‧‧‧光源
370‧‧‧光學器件
400‧‧‧照明器
410‧‧‧光源/源
415‧‧‧光
420‧‧‧光學元件
425‧‧‧照明
500‧‧‧照明器
510‧‧‧積體電路封裝/封裝
512‧‧‧陣列
520‧‧‧漫射器
522‧‧‧載體
600‧‧‧照明器
610‧‧‧光源
612‧‧‧區域
614‧‧‧離軸區域/區域
620‧‧‧光學系統
622‧‧‧光
624‧‧‧光
700‧‧‧處理系統/系統
710‧‧‧照明器
720‧‧‧影像擷取系統/影像擷取
730‧‧‧處理器
740‧‧‧記憶體
742‧‧‧可執行程式模組/模組/使用者介面
744‧‧‧可執行程式模組/模組/影像擷取控制模組
745‧‧‧影像資料
746‧‧‧可執行程式模組/模組/照明器控制模組/照明器控制程序
748‧‧‧可執行程式模組/模組/影像處理模組
750‧‧‧視域
760‧‧‧介面硬體
770‧‧‧儲存媒體/裝置/儲存器
經包含以提供對所揭示標的物之一進一步理解之該等隨附圖式併入於本說明書中並構成本說明書之一部分。圖式亦圖解說明所揭示標的物之實施方案氣且與詳細說明一起用於闡釋所揭示標的物之實施方案之原理。未嘗試比可係基本理解所揭示標的物及實踐所揭示標的物可以之各種方式所必需更詳細地展示結構細節。 圖1展示包含一照明器之一系統之一方塊圖，該照明器提供經塑形以減少或避免對影像資料之暈影效應之照明； 圖2A展示圖解說明一影像擷取系統中之感測效率可如何朝向影像擷取系統之一視域之邊緣下降之一等值線圖； 圖2B展示圖解說明經塑形以補償圖2A中所圖解說明之感測效率變化之照明之角度相依性之一等值線圖； 圖3A展示使用光學器件來提供旋轉對稱經塑形照明之一照明器之一透視圖； 圖3B展示使用將照明高效地限於一成像系統之一視域之一塑形透鏡來提供經塑形照明之一照明器之一透視圖； 圖4展示使用一發散光源來產生具一經塑形分佈之照明之一照明器的一剖面圖； 圖5A及圖5B分別展示採用半導體雷射之一陣列之一照明器之一分解圖及一裝配圖； 圖6展示使用產生具一空間不均勻強度分佈之光之一光源來產生具一角度不均勻強度分佈之照明之一照明器；且 圖7展示採用提供經塑形以補償一影像擷取系統之特性之照明的一照明器之一處理系統之一方塊圖。

Claims (20)

  1. 一種系統，其包括： 一影像擷取系統，其具有在該影像擷取系統之一視域內變化之一感測效率； 一照明器，其經組態以對該影像擷取系統之該視域進行照明，其中該照明器產生具有經塑形以在該感測效率較低之處具有較高強度之一分佈之照明；及 一處理組件，其經組態以使用一第二影像資料來操縱對應於由該照明器照明之一場景之一第一影像資料，該第二影像資料對應於具有周圍光照之場景。
  2. 如請求項1之系統，其中表示一場景且由該影像擷取系統擷取之影像資料由於該照明而具有一實質上均勻信號雜訊比。
  3. 如請求項1之系統，其中該第一影像資料與該第二影像資料組合。
  4. 如請求項1之系統，其中該第二影像資料自該第一影像資料移除。
  5. 如請求項1之系統，其中該照明在該視域之一中心處之一強度低於該照明在該視域之一邊緣處之一強度。
  6. 如請求項1之系統，其中該照明器包括： 一光源；及 一塑形光學器件，其將來自該光源之一第一強度之光引導至該視域之一第一區域且將來自該光源之一第二強度之光引導至該視域之一第二區域，其中該第二區域對應於該影像擷取系統之感測效率較低之處；且 該第二強度大於該第一強度。
  7. 如請求項6之系統，其中該光源產生來自一源區域之光，且來自該源區域之該光係空間不均勻的。
  8. 如請求項7之系統，其中該光源包括在該源區域上分佈且經操作以產生該空間不均勻照明之複數個光元件。
  9. 如請求項6之系統，其中該等塑形光學器件變更來自該光源之照明使得來自該照明器之該照明具有一矩形剖面。
  10. 如請求項6之系統，其中塑形光學器件包括一透鏡，且源區域定位於該透鏡之一焦平面中。
  11. 如請求項1之系統，其中該照明器產生旋轉對稱照明。
  12. 如請求項1之系統，其中該照明器包括半導體雷射之一陣列。
  13. 如請求項12之系統，其中該照明器進一步包括經定位以控制來自該等半導體雷射之光束之發散之一漫射器。
  14. 如請求項1之系統，其中該系統係選自由一相機、一行動電話、一電腦、一物件辨識系統及一個時差測距量測系統組成之一群組。
  15. 一種用於收集影像資料之方法，其包括： 在複數個點處判定一影像擷取系統之感測效率； 用具有一經塑形分佈之照明來對一場景進行照明，該經塑形分佈在該影像擷取系統之該感測效率較低之處具有較高強度； 使用該影像擷取系統來擷取表示如用具有該經塑形分佈之該照明所照明之該場景之第一影像資料；且 使用該影像擷取系統來擷取表示在無具有該經塑形分佈之該照明之情況下周圍光中之該場景之第二影像資料。
  16. 如請求項15之方法，其中該照明在成像系統之一視域之一周邊處比該照明在該成像系統之該視域之一中心處更亮。
  17. 如請求項15之方法，其進一步包括將該第一影像資料與該第二影像資料組合以產生具有一實質上均勻信號雜訊比之第三影像資料。
  18. 如請求項15之方法，其進一步包括自表示如用具有該經塑形分佈之該照明所照明之該場景之該第一影像資料減去表示周圍光中之該場景之該第二影像資料之至少一部分以產生具有一實質上均勻信號雜訊比之第三影像資料。
  19. 如請求項15之方法，其中該影像擷取系統經組態以基於該照明之一特性來擷取表示如用具有該經塑形分佈之該照明所照明之該場景之該第一影像資料。
  20. 如請求項19之方法，其中該照明之該特性選自由一偏光、一波長及一頻率組成之群組。
TW106145407A 2016-12-23 2017-12-22 用於暈影之補償之系統及方法 TWI731206B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201662438956P 2016-12-23 2016-12-23
US62/438,956 2016-12-23
EP17168779 2017-04-28
EP17168779.1 2017-04-28
??17168779.1 2017-04-28
US15/851,240 2017-12-21
US15/851,240 US10582169B2 (en) 2016-12-23 2017-12-21 Compensating for vignetting

Publications (2)

Publication Number Publication Date
TW201830341A true TW201830341A (zh) 2018-08-16
TWI731206B TWI731206B (zh) 2021-06-21

Family

ID=62627409

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106145407A TWI731206B (zh) 2016-12-23 2017-12-22 用於暈影之補償之系統及方法

Country Status (3)

Country Link
US (2) US10582169B2 (zh)
TW (1) TWI731206B (zh)
WO (1) WO2018119345A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631962B2 (en) * 2019-05-13 2023-04-18 Ii-Vi Delaware, Inc. Light source with integrated monitor photodetector and diffuser
US11985437B2 (en) * 2021-11-03 2024-05-14 Omnivision Technologies, Inc. Readout architectures for binned indirect time-of-flight sensors
GB2616061A (en) * 2022-02-28 2023-08-30 Uab Yukon Advanced Optics Worldwide Observation device
US12022201B2 (en) 2022-03-23 2024-06-25 L3Harris Technologies, Inc. Smart illumination for nightvision using semi-transparent detector array

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2372391A (en) 2001-02-16 2002-08-21 Hewlett Packard Co Removal of specular reflection
US8163580B2 (en) 2005-08-10 2012-04-24 Philips Lumileds Lighting Company Llc Multiple die LED and lens optical system
US20070153495A1 (en) 2005-12-29 2007-07-05 Wang Michael Dongxue Illumination mechanism for mobile digital imaging
US7697062B2 (en) * 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
EP2191655B8 (en) 2007-09-13 2019-01-09 Philips Lighting Holding B.V. Illumination device for pixelated illumination
US8922672B2 (en) * 2008-01-03 2014-12-30 Apple Inc. Illumination systems and methods for imagers
US8223260B2 (en) 2008-07-25 2012-07-17 Research In Motion Limited Electronic device having a camera and method of controlling a flash
US9122320B1 (en) * 2010-02-16 2015-09-01 VisionQuest Imaging, Inc. Methods and apparatus for user selectable digital mirror
WO2012103554A2 (en) * 2011-01-28 2012-08-02 Windy Place, Inc. Lighting and power devices and modules
CA2771851C (en) * 2011-04-12 2018-07-24 Research In Motion Limited Camera flash for improved color balance
US9841563B2 (en) * 2012-08-04 2017-12-12 Paul Lapstun Shuttered waveguide light field display
US9860522B2 (en) * 2012-08-04 2018-01-02 Paul Lapstun Head-mounted light field display
TWI489090B (zh) * 2012-10-31 2015-06-21 Pixart Imaging Inc 偵測系統
WO2014087301A1 (en) 2012-12-05 2014-06-12 Koninklijke Philips N.V. Illumination array with adapted distribution of radiation
US9509919B2 (en) * 2014-11-17 2016-11-29 Duelight Llc System and method for generating a digital image
US9852519B2 (en) * 2013-06-25 2017-12-26 Pixart Imaging Inc. Detection system
US9699428B2 (en) * 2013-09-09 2017-07-04 Apple Inc. Lens shading modulation
US9323071B2 (en) * 2013-09-17 2016-04-26 Texas Instruments Incorporated Laser speckle reduction for uniform illumination
IL233356A (en) * 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
DE102014118753A1 (de) * 2014-10-01 2016-04-07 Jenoptik Industrial Metrology Germany Gmbh Prüfvorrichtung
TWI570399B (zh) * 2014-12-04 2017-02-11 致茂電子股份有限公司 可校正光源之檢測系統及其光源校正方 法
US9635231B2 (en) 2014-12-22 2017-04-25 Google Inc. Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions
US10306132B2 (en) * 2015-05-11 2019-05-28 Canon Kabushiki Kaisha Distance calculation apparatus, imaging apparatus and distance calculation method that include confidence calculation of distance information
JP6080061B1 (ja) * 2015-10-23 2017-02-15 パナソニックＩｐマネジメント株式会社 撮像装置
US10440355B2 (en) * 2015-11-06 2019-10-08 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light
CA2998920A1 (en) * 2015-11-13 2017-05-18 Novadaq Technologies ULC Systems and methods for illumination and imaging of a target
JP2017121041A (ja) * 2015-12-11 2017-07-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 撮像装置
US9978147B2 (en) * 2015-12-23 2018-05-22 Intel Corporation System and method for calibration of a depth camera system
US10582169B2 (en) 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
KR102258568B1 (ko) 2016-12-23 2021-05-28 루미레즈 엘엘씨 비네팅에 대한 보상

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582169B2 (en) 2016-12-23 2020-03-03 Lumileds Llc Compensating for vignetting
US10893244B2 (en) 2016-12-23 2021-01-12 Lumileds Llc Compensating for vignetting

Also Published As

Publication number Publication date
US20180184053A1 (en) 2018-06-28
US20200154082A1 (en) 2020-05-14
US10893244B2 (en) 2021-01-12
TWI731206B (zh) 2021-06-21
WO2018119345A1 (en) 2018-06-28
US10582169B2 (en) 2020-03-03

Similar Documents

Publication Publication Date Title
TWI731206B (zh) 用於暈影之補償之系統及方法
US20210014429A1 (en) Image sensor modules including primary high-resolution imagers and secondary imagers
TWI565323B (zh) 分辨前景的成像裝置及其運作方法、以及影像感測器
JP5734425B2 (ja) 多開口撮像のためのフラッシュシステム
TW201544848A (zh) 包括用於不同波長之獨立成像器之結構化立體成像組件
US20150131051A1 (en) Eye detecting device and methods of detecting pupil
TWI801637B (zh) 用於相機之紅外光預閃光
JP2016524265A (ja) 光源の特性を決定する方法及びモバイルデバイス
JP7401013B2 (ja) 情報処理装置、制御装置、情報処理方法及びプログラム
TW201543130A (zh) 攝像控制裝置
JP7386703B2 (ja) ビネッティングの補償
JP2017107309A (ja) 指静脈認証装置
JP6368593B2 (ja) 画像処理プログラム、情報処理システム、画像処理方法
CN109154974A (zh) 确定目标距离和基于目标距离调整成像读取器的读取参数的布置和方法
JP6386837B2 (ja) 画像処理プログラム、情報処理システム、情報処理装置、画像処理方法
TWI706335B (zh) 物件特徵定位裝置及雷射與攝像整合系統
JP7080724B2 (ja) 配光制御装置、投光システム及び配光制御方法
US20220343472A1 (en) Selective image signal processing
JP2018009858A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP2018010116A (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
JP5561520B2 (ja) 画像処理装置、画像処理方法、プログラム、および電子装置