TW201942797A - 適應性紅外線投影控制的方法以及裝置 - Google Patents

適應性紅外線投影控制的方法以及裝置 Download PDF

Info

Publication number
TW201942797A
TW201942797A TW108111654A TW108111654A TW201942797A TW 201942797 A TW201942797 A TW 201942797A TW 108111654 A TW108111654 A TW 108111654A TW 108111654 A TW108111654 A TW 108111654A TW 201942797 A TW201942797 A TW 201942797A
Authority
TW
Taiwan
Prior art keywords
infrared
interest
image
infrared light
projector
Prior art date
Application number
TW108111654A
Other languages
English (en)
Other versions
TWI735858B (zh
Inventor
張德浩
王繼輝
朱啟誠
陳穎睿
李俊男
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201942797A publication Critical patent/TW201942797A/zh
Application granted granted Critical
Publication of TWI735858B publication Critical patent/TWI735858B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/315—Modulator illumination systems
    • H04N9/3155—Modulator illumination systems for controlling the light source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Electromagnetism (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明描述了用於電腦視覺的深度估計的適應性紅外線投影控制的各種示例。裝置的處理器或控制電路藉由一或複數個圖像感測器接收圖像的資料。該處理器或控制電路還檢測該圖像中的興趣區域(ROI)。然後，該處理器或控制電路根據該興趣區域，適應性控制投光器投射光線。

Description

適應性紅外線投影控制的方法以及裝置
本發明一般涉及電腦視覺(computer vision)，更具體地，涉及電腦視覺中深度估計(depth estimation)的適應性紅外線(IR)投影控制。
除非在此另有指示，本節描述的方法不是下文列出的申請專利範圍的背景技術，並且並不藉由包括在本節中而承認是背景技術。
電腦視覺中的深度估計利用由兩個攝像機捕獲的給定場景的圖像來三角測量以及估計距離。通常，可以用被動立體視覺(stereo vision)或主動立體視覺來實現深度估計。
後續的概述僅是說明性的並且不旨在以任何方式進行限制。即，提供後續的概述來介紹本文所描述的新穎以及非顯而易見技術的概念、重點、好處以及優勢。在細節描述中進一步描述所選擇的實施例。因此，後續的概述不旨在確認所要求保護主題的基本特徵，也不旨在用於確定所要求的保護主題的範圍。
本發明的目的是提出使能適應性IR投影控制的方案、解決方法、概念、涉及、方法以及裝置。據信，可以藉由實施根據本發明的各種提出的方案來實現功耗以及IR投影時間的減少以及改善的眼睛安全性。
在一個方面，方法可以涉及藉由一或複數個圖像感測器接收圖像的資料。該方法還涉及檢測該圖像中的興趣區域(ROI)。該方法還進一步涉及根據該興趣區域，適應性控制投光器投射光線。
在一個方面，裝置可以包括處理器或控制電路，該處理器或控制電路在操作期間可以執行以下操作：(a)藉由一或複數個圖像感測器接收圖像的資料；(b)檢測該圖像中的興趣區域(ROI)；以及(c)根據該興趣區域，適應性控制投光器投射光線。
值得注意的是，儘管本文提供的描述可以在某些EM波譜以及發光拓撲(如IR)的上下文中進行，但是所提出的概念、方案以及其任何變形/衍生物可以在其他EM波譜和/或發光技術(如包括但不限於，發光二極體、鐳射、光雷達(light detection and ranging，LiDAR)以及飛行時間(time-of-flight，TOF))來實施。因此，本發明不限於本文所描述的示例。
此處公開了所要求保護主題的具體實施例以及實施方式。然而，能夠理解，所公開的實施例以及實施方式僅是對可以以各種形式實施的所要求保護主題的說明。然而，本發明可以各種不同的形式實施並且不應當被解釋為限於這裡所給出的示例性實施例以及實施方式。相反，提供這些示例性的實施例以及實施方式以使得本發明的描述是全面和完整的，並且將向本領域技術人員充分傳達本發明的範圍。在下文的描述中，可以省略公知特徵以及技術的細節以避免不必要地混淆所呈現的實施例和實施方式。
對於被動立體視覺，IR投光器(projector)向場景投射結構化(structured)IR光，並且利用單個IR攝像機捕獲場景的圖像。對於主動立體視覺，利用兩個IR攝像機捕獲場景的圖像。第1圖示出了用於深度估計的IR投影的示例場景100。第1圖的(A)部分示出了可以用於主動立體視覺的裝置(如，智慧手機)的示例模組110。模組110可以包括兩個IR攝像機，一個紅-綠-藍(RGB)攝像機、一個IR投光器以及一個IR LED。在模組110的操作期間，IR LED可以發出IR光作為泛光(floodlight)以照明場景，IR投光器可以向場景投射結構化IR光，兩個IR攝像機的每一者可以捕獲各自的場景的IR圖像，以及RGB攝像機可以捕獲場景的RGB圖像。第1圖的(B)部分示出了可以用於被動立體視覺的裝置(如，智慧手機)的示例模組120。在模組120的操作期間，IR LED可以發射IR光作為泛光以照明場景，IR投光器可以向場景投射結構化IR光，單個IR攝像機可以捕獲場景的IR圖像，以及RGB攝像機可以捕獲場景的RGB圖像。
第1圖的(C)部分示出了IR感測器讀出時間的示例(如，關於模組110以及模組120的IR攝像機)。如第1圖所示，典型地，滾動快門攝像機(rolling-shutter camera)(如，模組100/200中的IR攝像機和/或RGB攝像機)以逐行的方式讀出圖像，使得在給定行的讀出已經開始之後的某一時間，開始下一行的讀出。模組110以及模組120的每一者可以支援IR曝光的類型I以及類型II中的一個或兩者。在類型I下，模組100/200中的IR投光器可以是啟用的、啟動的或者以其他方式打開一段時間，這段時間是在給定圖像(如，IR圖像、RGB圖像或深度圖)的所有行的讀出時間之間有重疊的持續時間。在類型II下，模組100/200中的IR投光器可以是啟用的、啟動的或以其他方式打開一段時間，這段時間是從給定圖像的複數個行的第一行的讀出開始到複數個行的最後一行的讀出結束的持續時間。
在根據本發明的提出方案下，可以基於一或複數個條件適應性控制IR投光器，即，根據是否滿足一或複數個預定條件的至少一個條件，可以適應性地啟用以及禁用IR投光器，或者可以適應性調整(如，減少)IR投光器的功率。有利地，與用於IR曝光的類型I以及類型II的傳統方案相比，適應性控制的IR投影可以減少功率消耗以及IR投影時間並且提高而眼睛安全性。
第2圖示出了根據本發明實施例的適應性IR投影控制的示例性場景200。在場景200中，可以以上述描述的方式讀出具有興趣區域的圖像(如，IR圖像、RGB圖像或深度圖)。此外，在提出的方案下，可以根據是否滿足一或複數個預定條件的至少一個條件，來適應性地控制IR投光器。結果，可以減少開啟IR投光器投影結構化IR光的時間量和/或可以減少IR投光器在投射結構化IR光時使用的功率量。
出於說明的目的而不限制本發明的範圍，由於面部識別相關應用(如，3D面部解鎖、3D面部支付、3D表情符號等等)在使用方面越來越流行，人的面部可以是圖像中的ROI。因此，在提出的方案下，主動立體視覺和/或被動立體視覺中由IR投光器進行的IR投影的時間選擇和/或功率可以基於面部識別或圖像中任何RIO區域而適應性控制，圖像可以是IR圖像、RGB圖像或深度圖。例如，可以在IR圖像、RGB圖像或深度圖中檢測(如，藉由執行面部檢測/識別演算法的控制電路、處理器)圖像中的面部區域。那麼，與IR曝光的類型I或類型II無關，可以減少在投影IR光中使用的功率量和/或在投影IR光期間的時間量，從而實現功率/時間的減少以及眼睛安全性的改善。
在提出的方案下，由IR投光器(如，模組100和/或模組200的IR投光器)在IR投影中的時間選擇和/或功率可以以多種方式的一或複數個來適應性控制。下文中提供了IR投影的適應性控制的一些示例的描述。
在一個示例中，圖像中面部(或另一個ROI)可以用作適應性控制IR投影的條件。具體地，當一或複數個圖像感測器(如，模組100/200的IR攝像機和/或RGB攝像機)讀取面部/ROI所處的圖像部分時，IR投光器可被使能以在感測器讀出時間的第一部分期間(也即讀取興趣區域圖像部分的時間，例如在第2圖中，為讀取面部圖像的時間)向使用者的面部(或圖像中的另一個ROI)投射IR光。此外，當一或複數個圖像感測器讀取非ROI所處的另一圖像部分時，IR投光器可以在感測器讀出時間的第二部分期間(也即讀取非ROI圖像部分的時間)被禁用以停止向面部投射IR光。因此，這可以節省功耗。此外，圖像中的眼睛區域可以用作適應性控制IR投影的條件。具體地，在感測器讀出時間的第一部分期間，當一或複數個感測器讀取面部的眼睛/雙眼所處的圖像部分時，IR投光器可以被禁用以停止投射IR光，從而提高眼睛安全性。
在一個示例中，用戶的眼部動作可以被用作適應性控制IR投影的條件。具體地，回應於面部的眼睛眨眼或以其他方式閉上，IR投光器可被使能來向面部投射IR光。此外，回應於面部的眼睛是睜開的，IR投光器可被禁用來停止向面部投射IR光。因此，這可以提高用戶的眼睛安全性。
在一個示例中，瞳孔大小(pupil size)可以被用作適應性控制IR投影的條件。具體地，回應於面部的眼睛的瞳孔放大，可以減少向面部投射IR光的功率量。再次，這可以提高用戶的眼睛安全性。
在一個示例中，面部(或另一個ROI)的距離可以用作適應性控制IR投影的條件。具體地，基於從一或複數個感測器(如，IR攝像機和/或RGB攝像機)到面部/ROI的距離，可以適應性控制IR投影。即，因為面部/ROI的距離與圖像中面部/ROI的尺寸成反比(即，更大的尺寸意味著面部/ROI離一或複數個感測器更近，反之亦然)，回應於面部/ROI的距離小於距離閾值，可以減少向面部投射IR光的功率量(如，當面部相當近的時候，減少投影IR光的功率)。因此，這可以提高用戶的眼睛安全性。
在一個示例中，環境亮度(lux)可以用作適應性控制IR投影的條件。具體地，回應於環境光線的亮度等級低於亮度閾值，可以減少投影IR光的功率量。
在一個示例中，深度圖的置信水平(confidence level)可以用作適應性控制IR投影的條件。例如，確定該深度圖的複數個區域的每一區域的各自的置信水平；若該等區域中有一或複數個區域的該置信水平低於置信度閾值，使能紅外投光器向該興趣區域投射紅外光。在一個實施例中，還可以包括使能該紅外投光器向該興趣中的該置信水平低於該置信度閾值的區域投射紅外光。
在一個示例中，ROI的圖像紋理(image texture)可以用作適應性控制IR投影的條件。例如，確定該圖像中該興趣區域的複數個區域的每一區域的各自的紋理量；若該等區域中有一或複數個區域的該紋理量低於紋理閾值，使能紅外線投光器向該興趣區域投射紅外光。在一個實施例中，還可也包括使能該紅外線投光器向該興趣區域中的該紋理量低於該紋理閾值的區域投射紅外光。
在一個示例中，給IR投光器供電的電池的功率電平(power level)可以被用作適應性控制IR投影的條件。具體地，回應於電池的功率電平低於功率閾值，可以減少投影IR光的功率量。
第3圖示出了根據本發明實施方式的示例性裝置300。裝置300可以執行各種功能來實施本文所描述的適合於電腦視覺中用於深度估計的適應性IR投影控制有關的進程、方案、技術、處理以及方法，包括關於第1圖以及第2圖所描述的各種進程、場景、方案、解決方案、概念以及技術，以及下文所描述的進程400。
裝置300可以是電子裝置、可擕式或移動裝置、可穿戴裝置、無線通訊裝置或計算裝置的一部分。例如，裝置300可以在智慧手機、智慧手錶、個人數位助理、數碼相機或如平板電腦、膝上型電腦或筆記型電腦的計算裝置中實施。此外，裝置300還可以是機器型裝置的一部分，機器型裝置可以是IoT或NB-IoT裝置，如固定裝置、家庭裝置、無線通訊裝置或計算裝置。例如，裝置300可以在智慧恒溫器、智慧冰箱、智慧門鎖、無線揚聲器或家庭控制中心中實施。或者，裝置300可以以片上系統(SoC)或一或複數個積體電路(IC)晶片的形式實施，如舉例但不限於，一或複數個單核處理器、一或複數個多核處理器、一或複數個精簡指令集計算(reduced-instruction-set-computing，RISC)處理器或者一或複數個複雜指令集計算(complex-instruction-set-computing，CISC)處理器。
裝置300可以包括第3圖中示出的至少一些元件，如控制電路310、投光器320、第一感測器330、第二感測器340以及泛光燈發射器360。可選地，裝置300還可以包括第三感測器350。裝置300可以進一步包括與本發明提出的方案無關的一或複數個其他元件(如，內部電源、記憶體裝置和/或使用者介面裝置)，因此為了簡便，裝置300的這些元件既沒有在第3圖中示出也沒有在下文進行描述。
一個方面，控制電路310可以以包括各種電子元件的電子電路的形式實施，或者，控制電路310可以實施為一或複數個單核處理器、一或複數個多核處理器、一或複數個RISC處理器、或者一或複數個CISC處理器的形式或者實施為其一部分。即，即使本文使用了單數術語“處理器”來指控制電路310，控制電路310可以包括根據本發明的一些實施方式中的複數個處理器以及其他實施方式中的單個處理器。另一方面，控制電路310可以以具有電子元件的硬體的方式實施，電子元件包括但不限於，一或複數個電晶體、一或複數個二極體(diode)、一或複數個電容器、一或複數個電阻、一或複數個電感器(inductor)、一或複數個憶阻器(memristor)和/或一或複數個變抗器(varactor)，其配置為且用於實施根據本發明的特定目的。換言之，在至少一些實施方式中，控制電路310是專門設計、用於以及配置為執行與用於根據本發明各種實施方式的電腦視覺中的深度估計的適應性IR投影控制有關的特定任務的專用機器。在一些實施方式中，控制電路310可以包括具有實施根據本發明的各種提出方案中的一或複數個方案的硬體元件的電子電路。或者，除了硬體元件，控制電路310還可以利用除了硬體元件之外的軟體代碼和/或指令來實施根據本發明各種實施方式的用於電腦視覺中深度估計的適應性IR投影控制。
在根據本發明的各種提出的方案下，在操作期間，控制電路310可以基於由第一感測器330、第二感測器340以及第三感測器350的一或複數個的感測來接收圖像的資料。此外，控制電路310可以檢測圖像中的興趣區域(ROI)。而且，控制電路310可以適應性地控制投光器320向ROI投射光線。
在一些實施方式中，在接收圖像的資料時，控制電路310可以接收IR圖像、RGB圖像或深度圖的資料。
在一些實施方式中，在檢測圖像中的ROI時，控制電路310可以檢測圖像中的面部。在這一情況下，在適應性控制投光器向ROI投射光線時，當一或複數個圖像感測器讀取ROI所處的圖像部分時，控制電路310可以使能IR投光器320以在感測器讀出時間的第一部分期間向面部投射IR光。此外，當一或複數個圖像感測器讀取非ROI所處的另一圖像部分時，控制電路310可以禁用IR投光器320以在感測器讀出時間的第二部分期間停止向面部投射IR光。在一些實施方式中，當一或複數個圖像感測器讀取ROI所處的圖像部分，使能IR投光器320在感測器讀出時間的第一部分期間向面部投射IR光時，當一或複數個圖像感測器讀取面部的眼睛所處的圖像部分時，控制電路310可以禁用投光器來停止投射IR光。在本發明中，適應性控制投光器向ROI投射光線包括：適應性控制投光器向ROI投射光線的時間和/或適應性控制投光器向ROI投射光線的功率，本發明不限於此。
在一些實施方式中，在檢測圖像中的ROI時，控制電路301可以檢測圖像中的面部以及檢測面部上的眼睛。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於閉眼或眨眼，控制電路310可以使能IR投光器320來向面部投射IR光。此外，回應於眼睛睜開，控制電路310可以禁用IR投光器320來停止向面部投射IR光。
在一些實施方式中，在檢測圖像中的ROI時，控制電路310可以檢測圖像中的面部，檢測面部上的眼睛，以及監測眼睛的瞳孔。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於瞳孔的放大，控制電路310可以控制IR投光器320減少向面部投射IR光線的功率量。
在一些實施方式中，在檢測圖像中的ROI時，控制電路310可以檢測圖像中的面部以及基於圖像中面部的尺寸確定從一或複數個圖像感測器到面部的距離。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於面部的距離低於距離閾值，控制電路310可以控制IR投光器320來減少向面部投射IR光線的功率量。
在一些實施方式中，控制電路310可以檢測環境光線的亮度等級(如，基於從第一感測器330、第二感測器340以及第三感測器350的任一個接收到的資料，或由從亮度感測器(未示出)接收的感測資料)。此外，在適應性控制投光器向ROI投射光線時，回應於環境光線的亮度等級低於亮度閾值，控制電路310可以控制IR投光器320減少投射IR光線的功率的量。
在一些實施方式中，在接收圖像的資料時，控制電路310可以接收RIO的深度圖的資料。在這種情況下，在適應性控制投光器向ROI投射光線時，控制電路310可以確定深度圖的複數個區域的每一個的各自的置信水平。此外，若該等區域中有一或複數個區域的該置信水平低於置信度閾值，控制電路310使能IR投光器320向該興趣區域投射紅外光。具體地，可以包括使能該IR投光器320向該興趣中的該置信水平低於該置信度閾值的區域投射紅外光。
在一些實施方式中，在適應性控制投光器向ROI投射光線時，控制電路310可以執行一些操作。例如，控制電路310可以確定圖像中ROI的複數個區域的每一個的各自的紋理量。此外，若該等區域中有一或複數個區域的該紋理量低於紋理閾值，控制電路310使能IR投光器320向該興趣區域投射紅外光。具體地，可以包括控制電路310使能該IR投光器320向該興趣區域中的該紋理量低於該紋理閾值的區域投射紅外光。
在一些實施方式中，在適應性控制投光器向ROI投射光線時，控制電路可以執行一些其他操作。例如，控制電路可以檢測給投光器供電的電池的功率電平。此外，回應於電池的功率電平低於功率閾值，控制電路310可以控制IR投光器減少向ROI投射IR光線的功率量。
第4圖示出了根據本發明實施方式的示例進程400。進程400可以是關於根據本發明的用於電腦視覺中深度估計的適應性IR投影控制的各種進程、場景、解決方案、概念以及技術及其組合的示例實施方式。進程400可以表示裝置300的特徵的實施方式的一方面。進程400可以包括由塊410、420以及430的一或複數個示出的一或複數個操作、動作或功能。雖然示出了分離的塊，基於所期望的實施方式，進程400的各個塊可以被分成額外的塊、組合成更少的塊或者消除。此外，進程400的塊可以以第4圖示出的次序或者以不同的次序執行。此外，進程400的一或複數個塊可以被重複一次或多次。進程400可以由裝置300或它的任何變形來實施。僅用於說明性的目的而非限制，在裝置300的上下文中描述進程400。進程400可以開始於塊410。
在410，進程400可以涉及控制電路310藉由第一感測器330、第二感測器340以及第三感測器350的一或複數個接收圖像的數據。進程400可以從410前進到420。
在420，進程400可以涉及控制電路310檢測圖像中的興趣區域(ROI)。進程400可以藉由從420前進到430。
在430，進程400可以涉及控制電路310適應性地控制投光器向ROI投射光線。
在一些實施方式中，在接收圖像的資料時，進程400可以涉及控制電路310接收IR圖像、RGB圖像或深度圖的資料。
在一些實施方式中，在檢測圖像中的ROI時，進程400可以涉及控制電路310檢測圖像中的面部。在這種情況下，在適應性控制投光器向ROI投射光線時，當一或複數個圖像感測器讀取ROI所處的圖像部分時，進程400可以涉及控制電路310在感測器讀出時間的第一部分期間使能IR投光器來向面部投射IR光。此外，當一或複數個圖像從感測器讀取非ROI所處的另一圖像部分時，進程400可以涉及控制電路310在感測器讀出時間的第二部分期間禁用IR投光器320來停止向面部投射IR光。在一些實施例中，當一或複數個圖像感測器讀取ROI所處的圖像部分，使能IR投光器320在感測器讀出時間的第一部分期間來向面部投射IR光線時，當一或複數個圖像感測器讀取面部的眼睛所處的圖像部分時，處理器400可以涉及控制電路310禁用投光器來停止投射IR光。
在一些實施例中，在檢測圖像中的ROI時，進程400可以涉及控制電路410檢測圖像中的面部以及檢測面部上的眼睛。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於眼睛是閉上或眨眼，進程400可以涉及控制電路310使能IR投光器向面部投射IR光。此外，回應於眼睛是睜開的，進程400可以涉及控制電路310禁用IR投光器320來停止投射IR光線。
在一些實施方式中，在檢測圖像中的ROI時，進程400可以涉及控制電路310檢測圖像中的面部、檢測面部上的眼睛，以及監測眼睛的瞳孔。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於瞳孔的放大，進程400可以涉及控制電路310控制IR投光器320來減少向面部投射IR光的功率量。
在一些實施例中，在檢測圖像中的ROI時，進程400可以涉及控制電路310檢測圖像中的面部以及基於圖像中面部的尺寸確定從一或複數個圖像感測器到面部的距離。在這種情況下，在適應性控制投光器向ROI投射光線時，回應於面部的距離低於距離閾值，進程400可以涉及控制電路310控制IR投光器來減少向面部投射IR光的功率量。
在一些實施方式中，進程400可以涉及控制電路310檢測環境光線的亮度等級。此外，在適應性控制投光器向ROI投射光線時，回應於環境光線的亮度等於低於亮度閾值，進程400可以涉及控制電路310控制IR投光器320來減少投射IR光線的功率量。
在一些實施方式中，在接收圖像的資料時，進程400可以涉及控制電路310接收ROI的深度圖的資料。在這種情況中，在適應性控制投光器向ROI投射光線時，進程400可以涉及控制電路310確定深度圖的複數個區域的每一個的各自的置信水平。此外，若該等區域中有一或複數個區域的該置信水平低於置信度閾值，進程400可以涉及控制電路310使能IR投光器320向該興趣區域投射紅外光。具體地，進程400可以包括使能該IR投光器320向該興趣中的該置信水平低於該置信度閾值的區域投射紅外光。
在一些實施方式中，在適應性控制投光器向ROI投射光線時，進程400可以涉及控制電路310執行一些操作。例如，進程400可以涉及控制電路310確定圖像中ROI的複數個區域的每一個的各自的紋理量。此外，若該等區域中有一或複數個區域的該紋理量低於紋理閾值，進程400包括控制電路310使能IR投光器320向該興趣區域投射紅外光。具體地，進程400可以包括控制電路310使能該IR投光器320向該興趣區域中的該紋理量低於該紋理閾值的區域投射紅外光。
在一些實施方式中，在適應性控制投光器向ROI投射光線時，進程400可以涉及控制電路310執行一些其他的操作。例如，進程400可以涉及控制電路310檢測向投光器供電的電池的功率電平。此外，回應於電池的功率電平低於功率閾值，進程400涉及控制電路310控制IR投光器來減少向ROI投射IR光線的功率量。
雖然已經藉由實施例和根據優選實施例描述了本發明，但應當理解，本發明不限於所公開的實施例。相反，其旨在覆蓋各種修改及類似的佈置(如對本領域技術人員顯而易見的)。因此，該申請專利範圍的範圍應該給予最廣泛的解釋，以便包括所有這些修改以及類似的佈置。
110、120‧‧‧模組
310‧‧‧控制電路
320‧‧‧投光器
330‧‧‧第一感測器
340‧‧‧第一感測器
350‧‧‧第一感測器
360‧‧‧泛光燈發射器
410~430‧‧‧步驟
附圖被包括以提供本發明的進一步理解，以及被包括並構成本發明的一部分。圖示示出了本發明的實施方式，以及與描述一起用於解釋本發明的原理。能夠理解，為了清楚地說明本發明的概念，一些元件之示出可能會與與實際實施方式中的尺寸不成比例，因此附圖不需要按比例繪製。 第1圖是用於深度估計的IR投影的示例場景的圖示。 第2圖是根據本發明實施例的示例場景的圖示。 第3圖是根據本發明實施例的示例裝置的圖示。 第4圖是根據本發明實施例的示例進程的流程圖。

Claims (22)

  1. 一種適應性控制紅外線投影的方法，包括： 藉由一或複數個圖像感測器接收一圖像的資料； 檢測該圖像中的一興趣區域；以及 根據該興趣區域，適應性控制一紅外線投光器投射光線。
  2. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該資料包括一紅外線圖像、一RGB圖像或一深度圖的資料。
  3. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該檢測該圖像中的一興趣區域包括檢測該圖像中的一面部，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 當該一或複數個圖像感測器讀取該興趣區域所處的一圖像部分時，使能該紅外線投光器在一感測器讀出時間的一第一部分期間向該面部投射一紅外光；以及 當該一或複數個圖像感測器讀取非該興趣區域所處的另一圖像部分時，禁用該紅外線投光器在該感測器讀出時間的一第二部分期間來停止向該面部投射紅外光。
  4. 如申請專利範圍第3項所述之適應性控制紅外線投影的方法，進一步包括：當該一或複數個圖像感測器讀取該面部的眼睛所處的一圖像部分時，禁用該紅外線投光器來停止投射紅外光。
  5. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該檢測該圖像中的該興趣區域包括： 檢測該圖像中的一面部，以及 檢測該面部上的一眼睛；以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 回應於該眼睛是閉上或眨眼，使能該紅外線投光器向該面部投射一紅外光； 回應於該眼睛是睜開，禁用該紅外線投光器來停止投射紅外光。
  6. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該檢測該圖像中的該興趣區域包括： 檢測該圖像中的一面部，以及 檢測該面部上的一眼睛，以及 監測該眼睛的一瞳孔；以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 回應於該瞳孔的放大，控制該紅外線投光器減少向該面部投射紅外光的功率量。
  7. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該檢測該圖像中的該興趣區域包括： 檢測該圖像中的一面部；以及 基於該圖像中該面部的一尺寸確定一面部距離，該面部距離是從該一或複數個圖像感測器到該面部的距離，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括：回應於該面部距離低於一距離閾值，控制該紅外線投光器減少向該面部投射紅外光的功率量。
  8. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，進一步包括檢測環境光線的亮度等級， 其中根據該興趣區域，適應性控制一紅外線投光器投射光線包括：回應於該環境光線的該亮度等級低於一亮度閾值，控制該紅外線投光器減少投射紅外光的功率量。
  9. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該資料包括該興趣區域的深度圖的資料，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 確定該深度圖的複數個區域的每一區域的各自的一置信水平；以及 若該等區域中有一或複數個區域的該置信水平低於一置信度閾值，使能該紅外投光器向該興趣區域投射一紅外光。
  10. 如申請專利範圍第9項所述之適應性控制紅外線投影的方法，該使能該紅外投光器向該興趣區域投射一紅外光包括：使能該紅外投光器向該興趣區域中的該置信水平低於該置信度閾值的區域投射紅外光。
  11. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 確定該圖像中該興趣區域的複數個區域的每一區域的各自的一紋理量；以及 若該等區域中有一或複數個區域的該紋理量低於一紋理閾值，使能該紅外線投光器向該興趣區域投射一紅外光。
  12. 如申請專利範圍第11項所述之適應性控制紅外線投影的方法，該使能該紅外線投光器向該興趣區域投射一紅外光包括：使能該紅外線投光器向該興趣區域中的該紋理量低於該紋理閾值的區域投射紅外光。
  13. 如申請專利範圍第1項所述之適應性控制紅外線投影的方法，該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 檢測向該紅外線投光器供電的電池的一功率電平；以及 回應於該電池的該功率電平低於一功率閾值，控制該紅外線投光器減少向該興趣區域投射紅外光的功率量。
  14. 一種適應性控制紅外線投影的裝置，該裝置包括一處理器或控制電路，該處理器或控制電路用於： 藉由一或複數個圖像感測器接收一圖像的資料； 檢測該圖像中的一興趣區域；以及 根據該興趣區域，適應性控制一紅外線投光器投射光線。
  15. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該資料包括一紅外線圖像、一RGB圖像或一深度圖的資料。
  16. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該檢測該圖像中的該興趣區域包括，檢測該圖像中的一面部，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括：當該一或複數個圖像感測器讀取該興趣區域所處的一圖像部分時，使能該紅外線投光器在一感測器讀出時間的一第一部分期間向該面部投射紅外光；以及 當該一或複數個圖像感測器讀取非該興趣區域所處的另一圖像部分時，禁用該紅外線投光器在該感測器讀出時間的一第二部分期間來停止向該面部投射紅外光； 該根據該興趣區域，適應性控制一紅外線投光器投射光線進一步包括：當該一或複數個圖像感測器讀取該面部的眼睛所處的一圖像部分時，禁用該紅外線投光器來停止投射紅外光。
  17. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該檢測該圖像中的該興趣區域包括： 檢測該圖像中的一面部，以及 檢測該面部上的一眼睛；以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 回應於該眼睛是閉上或眨眼，使能該紅外線投光器向該面部投射紅外光； 回應於該眼睛是睜開的，禁用該紅外線投光器來停止投射紅外光；以及 該檢測該圖像中的該興趣區域進一步包括監測眼睛的一瞳孔尺寸，以及該根據該興趣區域，適應性控制一紅外線投光器投射光線進一步包括： 回應於瞳孔的放大，控制該紅外線投光器減少向該面部投射紅外光的功率量。
  18. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該檢測該圖像中的該興趣區域包括： 檢測該圖像中的一面部；以及 基於該圖像中該面部的一尺寸確定面部距離，該面部距離是從該一個圖像或複數個圖像感測器到該面部的距離，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線包括：回應於該面部距離低於距離閾值，控制該紅外線投光器減少向該面部投射紅外光。
  19. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該處理器或控制電路進一步檢測環境光線的一亮度等級，以及該根據該興趣區域，適應性控制一紅外線投光器投射光線進一步包括：回應於該環境光線的該亮度等級低於一亮度閾值，控制該紅外線投光器減少投射紅外光的功率量。
  20. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該接收該圖像的該資料包括接收該興趣區域的深度圖的資料，以及 該根據該興趣區域，適應性控制一紅外線投光器投射光線進一步包括： 確定該深度圖的複數個區域的每一區域的各自的一置信水平；以及 若該等區域中有一或複數個區域的該置信水平低於一置信度閾值，使能該紅外線投光器向該興趣區域投射紅外光。
  21. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該根據該興趣區域，適應性控制一紅外線投光器投射光線包括： 確定該圖像中該興趣區域的複數個區域的每一區域的各自的一紋理量；以及 若該等區域中有一或複數個區域的該紋理量低於一紋理閾值，使能該紅外線投光器向該興趣區域投射紅外光。
  22. 如申請專利範圍第14項所述之適應性控制紅外線投影的裝置，該根據該興趣區域，適應性控制一紅外線投光器投射光線進一步包括： 檢測向該紅外線投光器供電的電池的一功率電平；以及 回應於該電池的該功率電平低於一功率閾值，控制該紅外線投光器減少向該興趣區域投射紅外光的功率量。
TW108111654A 2018-04-03 2019-04-02 適應性紅外線投影控制的方法以及裝置 TWI735858B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862651815P 2018-04-03 2018-04-03
US62/651,815 2018-04-03
US16/354,552 US20190306441A1 (en) 2018-04-03 2019-03-15 Method And Apparatus Of Adaptive Infrared Projection Control
US16/354,552 2019-03-15

Publications (2)

Publication Number Publication Date
TW201942797A true TW201942797A (zh) 2019-11-01
TWI735858B TWI735858B (zh) 2021-08-11

Family

ID=68057444

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108111654A TWI735858B (zh) 2018-04-03 2019-04-02 適應性紅外線投影控制的方法以及裝置

Country Status (3)

Country Link
US (2) US20190306441A1 (zh)
CN (1) CN110351543A (zh)
TW (1) TWI735858B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113711229B (zh) * 2019-05-31 2024-03-12 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备和计算机可读存储介质
CN110335303B (zh) * 2019-06-24 2021-10-26 Oppo广东移动通信有限公司 图像处理方法和装置、及存储介质
WO2021166221A1 (ja) * 2020-02-21 2021-08-26 日本電気株式会社 生体認証装置、生体認証方法、及び、そのプログラムが格納されたコンピュータ可読媒体
WO2022006739A1 (zh) * 2020-07-07 2022-01-13 深圳市锐明技术股份有限公司 一种控制方法、控制装置及红外摄像机
US11869206B2 (en) * 2021-12-28 2024-01-09 Datalogic Ip Tech S.R.L. Controllable laser pattern for eye safety and reduced power consumption for image capture devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7430365B2 (en) * 2005-03-31 2008-09-30 Avago Technologies Ecbu (Singapore) Pte Ltd. Safe eye detection
US7568802B2 (en) * 2007-05-09 2009-08-04 Honeywell International Inc. Eye-safe near infra-red imaging illumination method and system
CN102103259B (zh) * 2009-12-18 2012-11-21 深圳市巨龙科教高技术股份有限公司 一种避免投影仪强光照射装置和方法
JP5212927B2 (ja) * 2011-01-25 2013-06-19 株式会社デンソー 顔撮影システム
TW201329508A (zh) * 2012-01-04 2013-07-16 Walsin Lihwa Corp 眼部保護裝置及方法
US10321055B2 (en) * 2013-09-03 2019-06-11 Seeing Machines Limited Low power eye tracking system and method
JP6383218B2 (ja) * 2014-08-21 2018-08-29 任天堂株式会社 情報処理装置、情報処理システム、情報処理プログラム、および情報処理方法
KR102226177B1 (ko) * 2014-09-24 2021-03-10 삼성전자주식회사 사용자 인증 방법 및 그 전자 장치
US20170132466A1 (en) * 2014-09-30 2017-05-11 Qualcomm Incorporated Low-power iris scan initialization
US20160275348A1 (en) * 2015-03-17 2016-09-22 Motorola Mobility Llc Low-power iris authentication alignment
US20160283789A1 (en) * 2015-03-25 2016-09-29 Motorola Mobility Llc Power-saving illumination for iris authentication
US20170061210A1 (en) * 2015-08-26 2017-03-02 Intel Corporation Infrared lamp control for use with iris recognition authentication
KR102525126B1 (ko) * 2016-07-29 2023-04-25 삼성전자주식회사 홍채 카메라를 포함하는 전자 장치
US20180189547A1 (en) * 2016-12-30 2018-07-05 Intel Corporation Biometric identification system
CN106803284B (zh) * 2017-01-11 2021-03-23 北京旷视科技有限公司 构建脸部的三维图像的方法及装置
CN107358175B (zh) * 2017-06-26 2020-11-24 Oppo广东移动通信有限公司 虹膜采集方法及电子装置
CN107463877A (zh) * 2017-07-05 2017-12-12 广东欧珀移动通信有限公司 虹膜采集方法、电子装置和计算机可读存储介质
CN107451561A (zh) * 2017-07-31 2017-12-08 广东欧珀移动通信有限公司 虹膜识别补光方法和装置
US20190089939A1 (en) * 2017-09-18 2019-03-21 Intel Corporation Depth sensor optimization based on detected distance
EP3564748A4 (en) * 2018-02-27 2020-04-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. CONTROL METHOD, CONTROL DEVICE, TERMINAL, COMPUTER DEVICE AND STORAGE MEDIUM

Also Published As

Publication number Publication date
US11570381B2 (en) 2023-01-31
US20210352227A1 (en) 2021-11-11
CN110351543A (zh) 2019-10-18
TWI735858B (zh) 2021-08-11
US20190306441A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
TWI735858B (zh) 適應性紅外線投影控制的方法以及裝置
US20170277876A1 (en) Electronic device with method for controlling access to same
US9836639B2 (en) Systems and methods of light modulation in eye tracking devices
US9704250B1 (en) Image optimization techniques using depth planes
US9413939B2 (en) Apparatus and method for controlling a camera and infrared illuminator in an electronic device
WO2017161867A1 (zh) 一种调节屏幕亮度的方法、装置及智能终端
US9736373B2 (en) Dynamic optimization of light source power
US20210084280A1 (en) Image-Acquisition Method and Image-Capturing Device
CN109639893A (zh) 播放参数调整方法、装置、电子设备和存储介质
WO2013062563A1 (en) Gain value of image capture component
CN111601373B (zh) 背光亮度控制方法、装置、移动终端及存储介质
CN114946169A (zh) 一种图像获取方法以及装置
US11146747B1 (en) Dynamic driver mechanism for rolling shutter sensor to acquire the structured light pattern
TW201741927A (zh) 解鎖系統及方法
US20150347732A1 (en) Electronic Device and Method for Controlling Access to Same
WO2023045626A1 (zh) 图像采集方法、装置、终端、计算机可读存储介质及计算机程序产品
CN113741681A (zh) 一种图像校正方法与电子设备
US11687635B2 (en) Automatic exposure and gain control for face authentication
EP4366289A1 (en) Photographing method and related apparatus
US20160350607A1 (en) Biometric authentication device
TWI739041B (zh) 電子裝置以及其控制方法
TW201814389A (zh) 智慧相機閃光系統
CA2794067C (en) Apparatus and method for controlling a camera and infrared illuminator in an electronic device
CN110099221A (zh) 闪光灯控制方法、装置、计算机设备和存储介质
CN116051434B (zh) 一种图像处理方法及相关电子设备