TW202207689A - 用於活動深度感測技術的多種光學路徑成像技術和共享發射器 - Google Patents

用於活動深度感測技術的多種光學路徑成像技術和共享發射器 Download PDF

Info

Publication number
TW202207689A
TW202207689A TW110107004A TW110107004A TW202207689A TW 202207689 A TW202207689 A TW 202207689A TW 110107004 A TW110107004 A TW 110107004A TW 110107004 A TW110107004 A TW 110107004A TW 202207689 A TW202207689 A TW 202207689A
Authority
TW
Taiwan
Prior art keywords
image sensor
mode
optical element
light
aperture
Prior art date
Application number
TW110107004A
Other languages
English (en)
Inventor
麥克 奎瑞莫
塞佛拉哈利特 歐古茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202207689A publication Critical patent/TW202207689A/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/106Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • G02B27/14Beam splitting or combining systems operating by reflection only
    • G02B27/141Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/30Focusing aids indicating depth of field
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • G03B17/20Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/48Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/18Motion-picture cameras
    • G03B19/22Double cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10Power-operated focusing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006Filter holders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046Movement of one or more optical elements for zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本揭示的態樣係關於一種裝置,該裝置包括共享用於成像的一或多個光學路徑的多個圖像感測器。示例方法包括辨識包括第一光圈、第一圖像感測器、第二圖像感測器和光學元件的設備將處於第一設備模式還是第二設備模式。方法亦包括基於所辨識的設備模式來控制光學元件。光學元件在第一光學元件模式下將來自第一光圈的光引導至第一圖像感測器。當光學元件處於第二光學元件模式時,來自第一光圈的光被引導至第二圖像感測器。

Description

用於活動深度感測技術的多種光學路徑成像技術和共享發射器
本揭示通常係關於圖像擷取系統和設備,諸如包括共享用於成像的光學路徑的多個圖像感測器的裝置。本揭示通常亦關於活動(active)深度感測系統和設備,諸如包括用於多個光圈(aperture)所共享的活動深度感測的發射器的裝置。
許多設備可以包括多個攝像機。例如,智慧型電話可以包括一或多個面向後方的攝像機以及一或多個面向前方的攝像機。每個攝像機包括圖像感測器和用於擷取圖像的關聯部件。例如,若設備包括兩個或兩個以上攝像機,則該設備包括兩個或兩個以上圖像感測器,並且每個圖像感測器與其自己的用於成像的專用光學路徑相關聯。
許多設備亦可以包括多個活動深度感測系統。例如,智慧型電話可以包括面向前方的活動深度感測發送器(諸如用於面部解鎖或使用深度資訊的其他應用)和面向後方的活動深度感測發送器(諸如用於產生深度圖,以幫助一或多個面向後方的攝像機的自動聚焦,等等)。每個活動深度感測發送器與其自己的專用光學路徑相關聯,以用於發射用於活動深度感測的光。
本發明內容被提供用於以簡化形式來介紹概念的選擇,該等概念將在下文的詳細描述中被進一步描述。本發明內容既不意欲標識所要求保護的標的的關鍵特徵或必要特徵,亦不意欲限制所要求保護的標的的範圍。
本揭示的一些態樣係關於圖像感測器之間的共享光學路徑。用於數位成像的示例設備包括第一光圈、第一圖像感測器、第二圖像感測器和光學元件。第一光學路徑在第二圖像感測器與第一光圈之間形成。光學元件被配置為在第一光學元件(OE)模式下將來自第一光學路徑的光引導朝向第一圖像感測器。第二圖像感測器在第二OE模式下接收來自第一光學路徑的光。
在一些實現方式中,設備亦包括第二光圈。第二光學路徑在第一圖像感測器與第二光圈之間形成。光學元件亦被配置為在第一OE模式下將來自第二光學路徑的光引導朝向第二圖像感測器。第一圖像感測器在第二OE模式下接收來自第二光學路徑的光。光學元件可以被配置為在第一OE模式下將來自第一光學路徑的光引導朝向第一圖像感測器,以及允許來自第一光學路徑的光在第二OE模式下穿過光學元件。光學元件亦可以被配置為在第一OE模式下將來自第二光學路徑的光引導朝向第二圖像感測器,以及允許來自第二光學路徑的光在第二OE模式下穿過光學元件。
設備可以包括致動器,該致動器被配置為在和第一OE模式相關聯的第一位置與和第二OE模式相關聯的第二位置之間移動光學元件。在一些實現方式中,致動器被配置為關於來自第一光學路徑的光的方向在第一方位與第二方位之間旋轉光學元件,並且光學元件的透明度和反射率可以基於光學元件關於第一光學路徑的方位。設備可以包括電流源,該電流源被配置為將電流施加到光學元件,並且光學元件的透明度和反射率可以基於被施加到光學元件的電流量。在一些實現方式中,第一圖像感測器包括彩色圖像感測器,並且第二圖像感測器包括單色圖像感測器、紅外圖像感測器或具有與第一圖像感測器不同的解析度的圖像感測器中的一個。在一些實現方式中,第一圖像感測器包括較低功率圖像感測器,並且第二圖像感測器包括較高功率圖像感測器。在相同的時間內,較低功率圖像感測器比較高功率圖像感測器消耗更少的功率。
第一光圈和第二光圈可以位於設備的第一側上。替代地,第一光圈可以位於設備的第一側上,並且第二光圈可以位於設備的第二側上。在一些實現方式中,第一光圈位於包括顯示器的第一側上,並且第二光圈位於該設備的與第一側不同的第二側上。光學元件處於第一OE模式還是第二OE模式可以基於設備的方位。設備可以包括:透鏡,被配置為將光聚焦朝向第一圖像感測器或第二圖像感測器;及致動器,被配置為關於第一圖像感測器的位置或第二圖像感測器的位置來調節透鏡的位置。設備亦可以包括圖像信號處理器,被配置為處理從第一圖像感測器和第二圖像感測器接收的圖像;應用處理器,被配置為向圖像信號處理器提供指令;及記憶體,被配置為儲存所處理的圖像。
在另一個實例中,揭示用於藉由包括第一光圈、第一圖像感測器、第二圖像感測器和光學元件的設備進行數位成像的方法。示例方法包括辨識設備將處於第一設備模式還是第二設備模式,以及基於所辨識的設備模式控制光學元件。光學元件在第一OE模式下將來自第一光圈的光引導至第一圖像感測器。當光學元件處於第二OE模式時,來自第一光圈的光被引導至第二圖像感測器。控制光學元件可以包括基於所辨識的設備模式來辨識光學元件將處於第一OE模式還是第二OE模式,以及基於所辨識的OE模式調節光學元件。辨識光學元件將處於第一OE模式還是第二OE模式亦可以基於設備的方位。調節光學元件可以包括以下中的一或多個:旋轉光學元件;平移光學元件;或者將電流施加到光學元件。在一些實現方式中,基於指示設備模式的使用者輸入來辨識設備將處於第一設備模式還是第二設備模式。在一些其他實現方式中,辨識設備將處於第一設備模式還是第二設備模式基於以下中的一或多個:用於圖像擷取的視場;用於圖像擷取的縮放因數;用於圖像擷取的景深;或者設備方位(諸如風景或肖像方位)。第一圖像感測器可以與第一視場相關聯,並且第二圖像感測器可以與第二視場相關聯。第一圖像感測器可以與第一縮放因數相關聯,並且第二圖像感測器可以與第二縮放因數相關聯。第一圖像感測器可以與第一景深相關聯,並且第二圖像感測器可以與第二景深相關聯。在一些實現方式中,基於設備具有第一方位,該設備處於第一設備模式。基於設備具有與第一方位不同的第二方位,該設備可以處於第二設備模式。
辨識設備將處於第一設備模式還是第二設備模式可以包括比較以下中的一或多個:將用於圖像擷取的視場和第一視場與第二視場之間的閾值視場進行比較;將用於圖像擷取的縮放因數和第一縮放因數與第二縮放因數之間的閾值縮放因數進行比較;或者將用於圖像擷取的景深和第一景深與第二景深之間的閾值景深進行比較。辨識設備將處於第一設備模式還是第二設備模式可以包括偵測設備的方位。辨識設備將處於第一設備模式還是第二設備模式亦可以包括基於該比較或偵測來選擇第一設備模式或第二設備模式。
方法亦可以包括藉由光學元件引導以下中的一或多個:在第一OE模式下將來自第一光圈的光引導至第一圖像感測器;或者在第二OE模式下將來自第一光圈的光引導至第二圖像感測器。方法亦可以包括擷取以下中的一或多個:在第一設備模式期間從被引導至第一圖像感測器的光擷取第一圖像;或者在第二設備模式期間從被引導至第二圖像感測器的光擷取第二圖像。方法亦可以包括在第二設備模式期間從被引導至第二圖像感測器的光擷取第二圖像。方法亦可以包括藉由光學元件引導以下中的一或多個:在第一OE模式下將來自設備的第二光圈的光引導至第二圖像感測器;或者在第二OE模式下將來自第二光圈的光引導至第一圖像感測器。
在另外的實例中,揭示電腦可讀取媒體。電腦可讀取媒體可以儲存指令,該等指令在由包括第一光圈、第一圖像感測器、第二圖像感測器和光學元件的設備的一或多個處理器執行時使設備辨識該設備將處於第一設備模式還是第二設備模式,以及基於所辨識的設備模式控制光學元件。光學元件在第一OE模式下將來自第一光圈的光引導至第一圖像感測器。當光學元件處於第二OE模式時,來自第一光圈的光被引導至第二圖像感測器。在一些實現方式中,執行該等指令來控制光學元件使設備基於所辨識的設備模式來辨識光學元件將處於第一OE模式還是第二OE模式,以及基於所辨識的OE模式調節光學元件。辨識光學元件將處於第一OE模式還是第二OE模式亦可以基於設備的方位。調節光學元件可以包括以下中的一或多個:旋轉光學元件;平移光學元件;或者將電流施加到光學元件。
在一些實現方式中,基於指示設備模式的使用者輸入來辨識設備將處於第一設備模式還是第二設備模式。在一些其他實現方式中,辨識設備將處於第一設備模式還是第二設備模式基於以下中的一或多個:用於圖像擷取的視場;用於圖像擷取的縮放因數;用於圖像擷取的景深;或者設備方位,諸如風景或肖像。第一圖像感測器可以與第一視場相關聯,並且第二圖像感測器可以與第二視場相關聯。第一圖像感測器可以與第一縮放因數相關聯,並且第二圖像感測器可以與第二縮放因數相關聯。第一圖像感測器可以與第一景深相關聯,並且第二圖像感測器可以與第二景深相關聯。在一些實現方式中,基於設備具有第一方位,該設備處於第一設備模式。基於設備具有與第一方位不同的第二方位,該設備可以處於第二設備模式。執行該等指令以辨識該設備將處於第一設備模式還是第二設備模式可以使設備比較以下中的一或多個:將用於圖像擷取的視場和第一視場與第二視場之間的閾值視場進行比較;將用於圖像擷取的縮放因數和第一縮放因數與第二縮放因數之間的閾值縮放因數進行比較;或者將用於圖像擷取的景深和第一景深與第二景深之間的閾值景深進行比較。執行該等指令以辨識該設備將處於第一設備模式還是第二設備模式可以使設備替代地偵測其所處的方位。執行該等指令以辨識該設備將處於第一設備模式還是第二設備模式亦可以使設備基於該比較或偵測來選擇第一設備模式或第二設備模式。
執行該等指令亦可以使設備藉由光學元件引導以下中的一或多個:在第一OE模式下將來自第一光圈的光引導至第一圖像感測器;或者在第二OE模式下將來自第一光圈的光引導至第二圖像感測器。執行該等指令亦可以使設備擷取以下中的一或多個:在第一設備模式期間從被引導至第一圖像感測器的光擷取第一圖像;或者在第二設備模式期間從被引導至第二圖像感測器的光擷取第二圖像。執行該等指令亦可以使設備藉由光學元件引導以下中的一或多個:在第一OE模式下將來自設備的第二光圈的光引導至第二圖像感測器;或者在第二OE模式下將來自第二光圈的光引導至第一圖像感測器。
在另一個實例中,揭示用於數位成像的設備。設備包括用於辨識設備將處於第一設備模式還是第二設備模式的構件,以及基於所辨識的設備模式控制光學元件的構件。光學元件在第一OE模式下將來自第一光圈的光引導至第一圖像感測器。當光學元件處於第二OE模式時,來自第一光圈的光被引導至第二圖像感測器。控制光學元件可以包括基於所辨識的設備模式來辨識光學元件將處於第一OE模式還是第二OE模式,以及基於所辨識的OE模式調節光學元件。調節光學元件可以包括以下中的一或多個:旋轉光學元件;平移光學元件;或者將電流施加到光學元件。在一些實現方式中,基於指示設備模式的使用者輸入來辨識設備將處於第一設備模式還是第二設備模式。在一些其它實現方式中,辨識設備將處於第一設備模式還是第二設備模式基於以下中的一或多個:用於圖像擷取的視場;用於圖像擷取的縮放因數;用於圖像擷取的景深;或者設備方位,諸如風景或肖像。第一圖像感測器可以與第一視場相關聯,並且第二圖像感測器可以與第二視場相關聯。第一圖像感測器可以與第一縮放因數相關聯,並且第二圖像感測器可以與第二縮放因數相關聯。第一圖像感測器可以與第一景深相關聯,並且第二圖像感測器可以與第二景深相關聯。第一圖像感測器可以與設備的第一方位相關聯,並且第二圖像感測器可以與設備的與第一方位不同的第二方位相關聯。
本揭示的一些態樣係關於光圈之間的共享發射器。用於活動深度感測的示例設備包括:第一光圈,被配置為接收沿著第一光學路徑傳播的光;第二光圈,被配置為接收沿著第二光學路徑傳播的光;第一發射器,被配置為發射第一光;及光學元件,被配置為在第一光學元件(OE)模式下將來自第一發射器的第一光引導朝向第一光學路徑。在第二OE模式下將來自第一發射器的第一光引導朝向第二光學路徑。
設備可以包括致動器,該致動器被配置為在和第一OE模式相關聯的第一位置與和第二OE模式相關聯的第二位置之間移動光學元件。設備可以包括致動器,該致動器被配置為在和第一OE模式相關聯的第一方位與和第二OE模式相關聯的第二方位之間旋轉光學元件。在一些實現方式中,光學元件的透明度和反射率基於光學元件關於第一光學路徑的方位。設備可以包括被配置為將電流施加到光學元件的電流源。光學元件的透明度和反射率可以基於被施加到光學元件的電流量。
在一些實現方式中,設備包括被配置為發射第二光的第二發射器。光學元件可以在第一OE模式下將來自第二發射器的第二光引導朝向第二光學路徑。可以在第二OE模式下將來自第二發射器的第二光引導朝向第一光學路徑。第一發射器可以被配置為發射用於結構化光深度感測的第一光分佈,並且第二發射器可以被配置為發射以下中的一個:用於飛行時間深度感測的週期性脈衝光;用於結構化光深度感測的第二光分佈;或者用於泛光照明的漫射光。設備可以包括被配置為接收第一光的反射以用於活動深度感測的一或多個接收器。
在一些實現方式中,設備包括被配置為擷取一或多個圖像的圖像感測器。圖像感測器可以是較低功率圖像感測器。在相同的時間內,較低功率圖像感測器比其他圖像感測器消耗更少的功率。在一些實現方式中,第一發射器被配置為發射用於活動深度感測的光,並且圖像感測器包括被配置為擷取一或多個圖像以用於物件偵測的較低功率圖像感測器。光學元件可以在第一OE模式下將來自第二光圈的光引導朝向圖像感測器。可以在第二OE模式下將來自第一光圈的光引導朝向圖像感測器。在一些實現方式中,設備包括:信號處理器,被配置為處理一或多個圖像;應用處理器,被配置為向信號處理器提供指令;及記憶體,被配置為儲存所處理的圖像。
設備亦可以包括用於控制光學元件的控制器。控制器可以基於設備的方位來控制光學元件。
在另一個實例中,揭示用於藉由包括第一光圈、第二光圈、第一發射器和光學元件的設備進行活動深度感測的方法。示例方法包括辨識光學元件將處於第一OE模式還是第二OE模式,並且基於所辨識的OE模式控制光學元件。光學元件在第一OE模式下將來自第一發射器的光引導朝向第一光圈。在第二OE模式下將來自第一發射器的光引導朝向第二光圈。
控制光學元件可以包括調節光學元件。調節光學元件可以包括以下中的一或多個:旋轉光學元件;平移光學元件;或者將電流施加到光學元件。
辨識光學元件將處於第一OE模式還是第二OE模式可以基於設備的設備模式,並且設備可以包括第二發射器或圖像感測器。第一設備模式與第一發射器相關聯,並且第二設備模式與第二發射器或圖像感測器相關聯。辨識光學元件將處於第一OE模式還是第二OE模式可以基於使用者輸入。
在一些實現方式中,方法包括藉由第一發射器發射光;藉由光學元件在第一OE模式下將來自第一發射器的光引導朝向第一光圈;及在第二OE模式下將來自第一發射器的光引導朝向第二光圈。方法亦可以包括當設備處於第二設備模式時,藉由第二發射器發射光;藉由光學元件在第一OE模式下將來自第二發射器的光引導朝向第二光圈;及在第二OE模式下將來自第二發射器的光引導朝向第一光圈。當設備處於第一設備模式時,第一發射器發射光。方法亦可以包括當設備處於第一設備模式時,藉由一或多個接收器接收來自第一發射器的光的反射;及當設備處於第二設備模式時,藉由一或多個接收器接收來自第二發射器的光的反射。
在一些實現方式中,方法包括當設備處於第二設備模式時,藉由圖像感測器擷取圖像;藉由光學元件在第一OE模式下將來自第二光圈的光引導朝向圖像感測器;及在第二OE模式下將來自第一光圈的光引導朝向圖像感測器。當設備處於第一設備模式時,第一發射器發射光。辨識光學元件將處於第一OE模式還是第二OE模式可以基於設備的方位。在一些實現方式中,圖像感測器是較低功率圖像感測器,並且藉由圖像感測器在第二設備模式下擷取的圖像是用於物件偵測的。在相同的時間內,較低功率圖像感測器比其他圖像感測器消耗更少的功率。
在另外的實例中,揭示電腦可讀取媒體。電腦可讀取媒體可以儲存指令,該等指令在由用於活動深度感測的包括第一光圈、第二光圈、第一發射器和光學元件的設備的一或多個處理器執行時使設備辨識光學元件將處於第一OE模式還是第二OE模式,以及基於所辨識的OE模式控制光學元件。光學元件在第一OE模式下將來自第一發射器的光引導朝向第一光圈。在第二OE模式下將來自第一發射器的光引導朝向第二光圈。
執行指令以控制光學元件可以使設備調節光學元件。調節光學元件可以包括以下中的一或多個:旋轉光學元件;平移光學元件;或者將電流施加到光學元件。
辨識光學元件將處於第一OE模式還是第二OE模式可以基於設備的設備模式。設備可以包括第二發射器或圖像感測器。第一設備模式可以與第一發射器相關聯,並且第二設備模式可以與第二發射器或圖像感測器相關聯。辨識光學元件將處於第一OE模式還是第二OE模式可以基於使用者輸入。
執行該等指令亦可以使設備藉由第一發射器發射光;藉由光學元件在第一OE模式下將來自第一發射器的光引導朝向第一光圈;及在第二OE模式下將來自第一發射器的光引導朝向第二光圈。在一些實現方式中,執行該等指令使設備在其處於第二設備模式時,藉由第二發射器發射光;藉由光學元件在第一OE模式下將來自第二發射器的光引導朝向第二光圈;及在第二OE模式下將來自第二發射器的光引導朝向第一光圈。當設備處於第一設備模式時,第一發射器發射光。執行該等指令亦可以使設備在其處於第一設備模式時,藉由一或多個接收器接收來自第一發射器的光的反射;及在其處於第二設備模式時,藉由一或多個接收器接收來自第二發射器的光的反射。
在一些實現方式中,執行該等指令使設備在其處於第二設備模式時,藉由圖像感測器擷取圖像;藉由光學元件在第一OE模式下將來自第二光圈的光引導朝向圖像感測器;及在第二OE模式下將來自第一光圈的光引導朝向圖像感測器。當設備處於第一設備模式時,第一發射器發射光。辨識光學元件將處於第一OE模式還是第二OE模式可以基於設備的方位。在一些實現方式中,圖像感測器是較低功率圖像感測器,並且藉由圖像感測器在第二設備模式下擷取的圖像是用於物件偵測的。在相同的時間內,較低功率圖像感測器比其他圖像感測器消耗更少的功率。
在另一個實例中,揭示用於活動深度感測的設備,該設備包括第一光圈、第二光圈、第一發射器和光學元件。設備包括用於辨識光學元件將處於第一OE模式還是第二OE模式的構件,以及基於所辨識的OE模式控制光學元件的構件。光學元件在第一OE模式下將來自第一發射器的光引導朝向第一光圈。在第二OE模式下將來自第一發射器的光引導朝向第二光圈。設備可以包括用於調節光學元件的構件。
在另一個實例中,揭示用於活動深度感測的另一個設備。設備包括用於發射第一光的構件;用於在第一OE模式下將第一光引導朝向第一光學路徑的構件;及用於在第一OE模式下將沿著第一光學路徑傳播的第一光引導至設備外部的構件。設備亦包括用於在第二OE模式下將第一光引導朝向第二光學路徑的構件;及用於在第二OE模式下將沿著第二光學路徑傳播的第一光引導至設備外部的構件。
本揭示的態樣可以用於圖像擷取系統以及設備或活動深度感測系統和設備。一些態樣可以包括在多個圖像感測器之間具有共享光學路徑的設備。一些其他態樣可以包括具有在多個光學路徑之間共享的用於活動深度感測的發射器的設備。
參考包括在多個圖像感測器之間具有共享光學路徑的設備的態樣,許多設備具有多個攝像機。對於具有多個攝像機的設備,每個攝像機包括圖像感測器、透鏡和其他攝像機部件(諸如快門、成像前端、濾色器等)。例如,智慧型電話可以具有複數個面向後方的攝像機(與包括顯示器的側面相對),並且每個面向後方的攝像機包括專用攝像機部件。每個面向後方的攝像機可以被配置為基於圖像感測器以及將光引導至圖像感測器的一或多個透鏡來擷取場景的不同視場(FOV)。當將要擷取圖像時,關聯攝像機用於擷取圖像,而其他攝像機通常不被使用。在另一個實例中,一個面向後方的攝像機可以是用於彩色成像的主攝像機,而另一個面向後方的攝像機可以是用於黑白成像的輔攝像機。若將要擷取黑白圖像,則可以在不使用主攝像機的情況下使用輔攝像機。
智慧型電話亦可以具有一或多個面向前方的攝像機(諸如位於顯示器上的打孔、顯示器側面或顯示器下方的凹口),並且每個面向前方的攝像機可以與不同的FOV相關聯。例如,若智慧型電話包括一個面向前方的攝像機,則面向前方的攝像機可以被配置為以用於肖像圖像的FOV來擷取圖像。若智慧型電話包括第二面向前方的攝像機,則第二面向前方的攝像機可以被配置為以用於風景圖像或組自拍圖像的FOV來擷取圖像。基於將被用於擷取面向前方的圖像(諸如自拍圖像)的FOV,關聯的面向前方的攝像機被使用,而其他面向前方的攝像機未被使用。
圖1圖示設備100部分的橫截面,其示出與第一光學路徑106相關聯的第一圖像感測器102以及與第二光學路徑108相關聯的第二圖像感測器104。第一圖像感測器102與被配置為經由穿過設備100的顯示器118的第一光圈110(諸如經由凹口、打孔等)來接收光114的面向前方的攝像機相關聯。第二圖像感測器104與被配置為經由穿過設備100的後板的第二光圈112來接收光116的面向後方的攝像機相關聯。第一圖像感測器102與專用成像部件相關聯,以用於藉由面向前方的攝像機擷取圖像,並且第二圖像感測器104與專用成像部件相關聯,以用於藉由面向後方的攝像機擷取圖像。當將要擷取面向前方的圖像時,面向後方的攝像機未被使用。當將要擷取面向後方的圖像時,面向後方的攝像機未被使用。
耦合到專用光學路徑的每個圖像感測器需要空間和設備內的附加攝像機部件。隨著圖像感測器的數量增加,所需的空間增加,並且攝像機部件的數量增加。此外,由於每個圖像感測器與用於允許光進入設備的光圈相關聯,因此隨著圖像感測器的數量增加,在設備的外部可見的光圈的數量亦增加。例如,隨著智慧型電話中面向前方的攝像機的數量增加,凹口尺寸、打孔尺寸或穿過智慧型電話顯示器的打孔的數量增加以容納附加的光圈,從而影響設計和製造複雜性及/或設計美感。此外,儘管當另一個圖像感測器用於成像時可能不使用一個圖像感測器,但是未被使用的圖像感測器和攝像機部件可以被啟用並消耗功率。隨著圖像感測器(及其專用攝像機部件)數量的增加,所消耗的功率量亦增加。
設備可以包括較少的圖像感測器(和專用攝像機部件),以減少所需的空間、所需的部件數量、所需的光圈數量以及設備的功率消耗。然而,減少圖像感測器的數量可以降低設備的能力。例如,若智慧型電話僅包括配置有肖像FOV的一個面向前方的攝像機,則智慧型電話不能夠擷取風景或組FOV自拍圖像(即使智慧型電話包括風景FOV配置的面向後方的攝像機)。
在一些實現方式中,設備可以包括被配置為共享至少一個光學路徑(和關聯光圈)的第一圖像感測器和第二圖像感測器。例如,第一圖像感測器可以被配置為以第一FOV擷取圖像,並且第二圖像感測器可以被配置為以第二FOV擷取圖像。設備包括光學元件,該光學元件被配置為在將來自共享光學路徑的光引導至第一圖像感測器與將來自共享光學路徑的光引導至第二圖像感測器之間進行切換。以此種方式,設備可以需要用於多個圖像感測器的減小空間和減小數量的攝像機部件。此外,圖像感測器可以用於面向前方的成像和面向後方的成像,使得設備的多個側面不需要用於特定FOV的多個專用圖像感測器。例如,具有第一FOV的一個圖像感測器可以用於來自智慧型電話或其他設備的面向前方的圖像和面向後方的圖像。本文參考附圖和實例描述了實現方式的其他益處。
參考包括具有由設備中的多個光學路徑共享的活動深度感測發射器的設備(及其在設備上的關聯光圈)的態樣,設備可以被配置用於活動深度感測以輔助設備的各種操作。例如,智慧型電話可以包括面向後方的活動深度感測系統,以用於一或多個面向後方的攝像機的自動聚焦、深度映射、測距或其他合適操作。在另一個實例中,智慧型電話可以包括用於臉孔辨識、深度映射或其他合適操作的面向前方的活動深度感測系統。每個活動深度感測系統包括專用發射器和用於活動深度感測的部件。每個活動深度感測系統亦包括一或多個專用光圈。
圖2圖示設備200部分的橫截面,其示出用於與第一光學路徑222相關聯的活動深度感測的第一發射器220以及用於與第二光學路徑232相關聯的活動深度感測的第二發射器230。第一發射器220被配置為穿過第一光學路徑222發射光224,並且經由穿過設備顯示器218的第一光圈226將光224發射出設備200的前方。第二發射器230被配置為穿過第二光學路徑232發射光234,並且經由穿過設備200的後側的第二光圈236將光234發射出設備200的後方。設備200亦包括感測器202,該感測器202被配置為經由穿過顯示器218的第三光圈210並經由第三光學路徑206接收光214。光214包括光224的反射以用於活動深度感測。設備200亦包括感測器204,該感測器204被配置為經由穿過設備200的後側的第四光圈212並經由第四光學路徑208接收光216。光216包括光234的反射以用於活動深度感測。
如圖所示,面向前方的活動深度感測系統(包括發射器220)與用於活動深度感測的專用部件相關聯,並且面向後方的活動深度感測系統(包括發射器230)與用於活動深度感測的不同專用部件相關聯。當僅活動深度感測系統中的一個處於使用中時,另一個活動深度感測系統的部件可能未被使用。例如,當第一發射器220處於使用中時,第二發射器230可能未被使用。此外,當設備包括多個活動深度感測系統(諸如多個發射器以及用於驅動和控制發射器的部件)時,需要許多類似部件。隨著設備中的活動深度感測系統的數量增加,設備中所需的發射器、部件和空間的數量亦增加。
設備可以包括較少的活動深度感測系統(和專用發射器),以減少設備中所需的空間、所需的部件數量和所需的光圈數量。然而,減少活動深度感測系統的數量可以降低設備的能力。例如,若智慧型電話僅包括面向前方的活動深度感測系統(並且不包括面向後方的活動深度感測系統),則智慧型電話可以能夠執行臉孔辨識以進行螢幕解鎖,但是智慧型電話不能夠針對面向後方的攝像機執行鐳射自動聚焦。
在一些實現方式中,設備可以包括被配置為共享用於活動深度感測的發射器的第一光圈和光學路徑以及第二光圈和光學路徑。例如,第一光圈(耦合到設備中的第一光學路徑)可以是面向前方的光圈,並且第二光圈(耦合到設備中的第二光學路徑)可以是面向後方的光圈。設備包括光學元件,該光學元件被配置為在將發射器耦合到第一光學路徑與將發射器耦合到第二光學路徑之間進行切換。以此種方式,發射器可以被配置為經由第一光圈或經由第二光圈(諸如用於面向前方的活動深度感測的面向前方的光圈或用於面向後方的活動深度感測的面向後方的光圈)將光發射出設備。設備可以需要用於共享發射器的減小空間和減小數量的部件,以用於活動深度感測。本文參考附圖和實例描述了實現方式的其他益處。
在以下描述中,闡述了許多特定細節,諸如特定部件、電路和過程的實例,以提供對本揭示的透徹理解。如本文所使用,術語「耦合」意味著直接連接到一或多個中間部件或電路或者穿過一或多個中間部件或電路連接。此外,在以下描述中並且出於解釋目的,闡述了特定術語以提供對本揭示的透徹理解。然而,對於本領域技藝人士將顯而易見的是,實踐本文揭示的教示可能不需要該等特定細節。在其他情況下,以方塊圖形式圖示熟知電路和設備,以避免使本揭示的教示晦澀。按照程序、邏輯區塊、處理和電腦記憶體內關於資料位元的操作的其他符號表示,呈現了下文的詳細描述的一些部分。在本揭示中,程序、邏輯區塊、過程等被認為是導致期望結果的步驟或指令的自相容序列。該等步驟是需要對實體量進行實體操縱的彼等步驟。通常,儘管不是必須的,該等量採取能夠在電腦系統中被儲存、傳送、組合、比較和以其他方式操縱的電信號或磁信號的形式。
然而,應當牢記,所有該等和類似術語均應與適當的實體量相關聯,並且僅僅是應用於該等量的方便標籤。除非從以下論述中另外明確地指出,否則應理解的是,貫穿本申請案,利用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「標準化」、「相乘」、「平均」、「監視」、「比較」、「應用」、「更新」、「量測」、「匯出」、「解決」等術語的論述是指電腦系統或類似電子計算設備的動作和處理,該等動作和處理是將在電腦系統的暫存器和記憶體內的被表示為實體(電子)量的資料操縱並轉換為在電腦系統記憶體或暫存器或其他此類資訊儲存裝置、傳輸或顯示裝置裡的類似地被表示為實體量的其他資料。
在附圖中,單個區塊可以被描述為執行一或多個功能;然而,在實際實踐中,由該區塊執行的一或多個功能可以在單個部件中或者跨多個部件執行,及/或可以使用硬體、使用軟體、或者使用硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種交換性,在本文整體上根據其功能描述各種說明性部件、方塊、模組、電路和步驟。將此種功能實現為硬體還是軟體取決於特定應用和施加在整個系統上的設計約束。技藝人士可以針對每個特定應用以變化的方式來實現所描述的功能,但是此種實現方式決定不應被解釋為導致脫離本揭示的範圍。此外,示例設備可以包括除所示部件以外的部件,包括諸如處理器、記憶體等的熟知部件。
本揭示的態樣適用於任何合適的電子設備,包括被配置為擷取圖像或視訊的圖像感測器或者被配置用於活動深度感測的發射器(諸如安全系統、智慧型電話、平板電腦、膝上型電腦、數位視訊及/或靜態攝像機、網路攝像機等)。儘管本文描述的許多實例描繪了包括共享一個或兩個光學路徑的兩個圖像感測器的設備,但是本揭示的態樣適用於具有任何數量的光學路徑和任何數量的共享圖像感測器的設備。儘管圖像感測器亦被描繪為針對設備的不同側而定向,但是每個圖像感測器可以以任何合適的方式來定向(諸如針對設備的同一側)。此外,儘管本文描述的許多實例描繪了包括共享兩個光學路徑和用於活動深度感測的光圈的一個發射器的設備,但是本揭示的態樣適用於具有任何數量的發射器和任何數量的共享光學路徑的設備。因此,本揭示不限於具有特定數量的圖像感測器、活動深度感測發射器、部件、部件的方位、光圈、光學路徑等的設備。
術語「設備」不限於一個或特定數量的實體物件(諸如一個智慧型電話、一個攝像機控制器、一個處理系統等)。如本文所使用,設備可以是具有可以實現本揭示的至少一些部分的一或多個部分的任何電子設備。儘管以下描述和實例使用術語「設備」來描述本揭示的各個態樣,但是術語「設備」不限於物件的特定配置、類型或數量。
圖3A圖示示例設備300的方塊圖。示例設備300可以包括將光引導至第一光學路徑301的第一光圈320、第一圖像感測器302、第二圖像感測器303和光學元件304。示例設備300亦包括處理器305、儲存指令308的記憶體306以及圖像信號處理器312。設備300任選地可以包括(或耦合到)顯示器314、多個輸入/輸出(I/O)部件316和多個感測器326。設備300可以包括未圖示的附加特徵或部件。在一個實例中,可以包括用於無線通訊設備的無線介面,該無線介面可以包括多個收發器和基頻處理器。設備300亦可以包括電源供應器318,該電源供應器318可以耦合到設備300或集成到設備300中。
設備300被配置為當設備處於第一設備模式(或第一模式)時使用第一圖像感測器302以用於擷取圖像。設備300亦被配置為當設備處於第二設備模式(或第二模式)時使用第二圖像感測器303以用於擷取圖像。當設備300處於第一模式時,第一圖像感測器302可以被配置為基於光學元件304接收沿著第一光學路徑301傳播的光。光學元件304被配置為當在第一光學元件(OE)模式時將沿著第一光學路徑傳播的光引導至第一圖像感測器302。當設備300處於第二模式時,第二圖像感測器303可以被配置為基於光學元件304接收沿著第一光學路徑301傳播的光。例如,當光學元件304處於第二OE模式時,光學元件304被配置為允許第二圖像感測器303接收沿著第一光學路徑301傳播的光。
在一些實現方式中,設備300包括第二光圈322,以沿著第二光學路徑324引導光。第一圖像感測器302和第二圖像感測器303亦可以共享第二光學路徑324。當光學元件304處於第一OE模式時,光學元件304可以被配置為將光沿著第二光學路徑324引導至第二圖像感測器303,並且當光學元件304處於第二OE模式時,設備300可以被配置為將光沿著第二光學路徑324引導至第一圖像感測器302。如上所指出,在第一設備模式與第二設備模式之間進行切換可以指在用於擷取圖像的圖像感測器之間進行切換。在一些實現方式中,第一圖像感測器302在第一設備模式的第一部分期間接收沿著第一光學路徑301傳播的光,並且第一圖像感測器302在第一設備模式的第二部分期間接收沿著第二光學路徑324傳播的光。類似地,第二圖像感測器303可以在第二設備模式的第一部分期間接收沿著第一光學路徑301傳播的光,並且第二圖像感測器303可以在第二設備模式的第二部分期間接收沿著第二光學路徑324傳播的光。第一部分和第二部分可以基於光學元件304處於第一OE模式還是第二OE模式,並且設備300被配置為在OE模式之間進行切換光學元件304。在一些實現方式中,第一設備模式的第一部分與第二設備模式的第一部分相同,並且第一設備模式的第二部分與第二設備模式的第二部分相同。例如,當光學元件304被配置為將沿著第一光學路徑301傳播的光引導至第一圖像感測器302時,光學元件304允許沿著第二光學路徑324傳播的光到達第二圖像感測器303。
設備模式可以基於一或多個圖像擷取特性。例如,第一模式可以用於擷取具有第一FOV的圖像,並且第二模式可以用於擷取具有第二FOV的圖像。在一個實例中,第一FOV可以是遠攝FOV,並且第二FOV可以是寬FOV。遠攝FOV可以指與遠攝透鏡相關聯的FOV或用於擷取遠攝FOV圖像的合適FOV。寬FOV可以指寬FOV、超寬FOV或比遠攝FOV更大的任何其他FOV。在另一個實例中,第一模式可以用於擷取彩色圖像,並且第二模式可以用於擷取黑白圖像。在另一個實例中,第一模式可以與第一縮放因數相關聯,並且第二模式可以與第二縮放因數相關聯(諸如基於將光引導至關聯圖像感測器的透鏡所引起的光學縮放)。
在一些其他實現方式中,在第一設備模式與第二設備模式之間進行切換可以指在用於圖像擷取的圖像感測器與用於活動深度感測的圖像感測器之間進行切換。第一圖像感測器可以用於視覺攝影(諸如擷取自拍、擷取肖像圖像、擷取組圖像等)。第二圖像感測器可以用於活動深度感測(諸如擷取光的反射以用於飛行時間深度感測或結構化光深度感測)。例如,第一模式用於使用第一圖像感測器302擷取圖像,並且第二模式用於使用第二圖像感測器303擷取來自發射器的光反射以用於活動深度感測。
在一些實現方式中,在第一設備模式與第二設備模式之間進行切換可以基於在一個設備模式期間由圖像感測器擷取的資訊,以使設備300切換到另一個設備模式。例如,設備300可以包括較低功率圖像感測器和較高功率圖像感測器。如本文所使用,較低功率圖像感測器是指比一或多個其他圖像感測器(諸如在設備中使用的習知圖像感測器)消耗更少功率的圖像感測器。較高功率圖像感測器可以指在相同時間內比較低功率圖像感測器消耗更多功率的圖像感測器。以此種方式,較低功率圖像感測器可以指在相同時間內比較高功率圖像感測器消耗更少功率的圖像感測器。在一些實現方式中,不同的功率消耗可以基於解析度的差異。例如,相對於彼此,較低功率圖像感測器可以是較低解析度圖像感測器,並且較高功率圖像感測器可以是較高解析度圖像感測器。由於針對較低解析度圖像感測器的訊框讀出較少的感測器圖元,因此與較高解析度圖像感測器相比,較低解析度圖像感測器在共同的操作時間段內可以消耗較少的功率。替代地或此外,不同的功率消耗率可以基於不同的畫面播放速率(較低功率圖像感測器可以具有較低畫面播放速率)、不同的取樣頻率(較低功率圖像感測器可以具有較低取樣頻率)、每訊框的不同曝光訊窗尺寸(較低功率圖像感測器可以具有較小的曝光訊窗尺寸)或不同的圖元尺寸(較低功率圖像感測器可以具有較大的圖元)。
在一些實現方式中,較低功率圖像感測器可以包括常通(AO)圖像感測器。如本文所使用,AO圖像感測器是指可以針對設備的不同操作狀態和設備功率狀態而連續操作的圖像感測器。例如,當設備處於低功率狀態(諸如睡眠狀態)、活動狀態(諸如當設備正在由使用者使用時)時,AO圖像感測器可以是活動的,或者當設備開啟時,該AO圖像感測器可以是另一種合適的狀態。較低功率圖像感測器(其是AO圖像感測器)與另一個圖像感測器的不同之處可以在於,另一個圖像感測器可以是活動的或者僅在設備操作的選定時間期間操作。例如,當設備處於低功率狀態(諸如處於非活動狀態或睡眠狀態)時,AO圖像感測器可以繼續擷取圖像,而另一個圖像感測器可以是非活動的。例如,當設備處於非活動狀態或睡眠狀態時,較高功率圖像感測器可以是非活動的。較高功率圖像感測器可以包括具有更好的輸出訊雜比、更好的圖元密度、更大動態範圍的光頻率回應、或者比較低功率圖像感測器更好的另一種可量化度量的圖像感測器。
在一些實現方式中,較低功率圖像感測器可以包括比其他圖像感測器(諸如較高功率圖像感測器)低的畫面播放速率或取樣頻率。由於在相同時間內較低功率圖像感測器的讀取次數比另一個圖像感測器少(每次讀取需要定義的功率消耗量),因此較低功率圖像感測器可以在相同時間內比另一個圖像感測器消耗更少功率。
在一些實現方式中,較低功率圖像感測器可以包括比較高功率圖像感測器更大的圖元。如本文所使用,圖元的尺寸是指用於接收將由圖元的光電偵測器量測的光子的光敏區域。增大圖元尺寸意味著增大光敏區域。以此種方式,在相同尺寸的曝光訊窗期間,較大尺寸的圖元比較小尺寸的圖元從相同的環境照明接收更多的光子。在一些實現方式中,可以減小較大圖元的曝光訊窗尺寸以節省功率。當曝光訊窗尺寸減小時,圖像感測器可以每訊框消耗較少的功率。若具有較大圖元的較低功率圖像感測器與另一個圖像感測器之間的畫面播放速率相同,則較低功率圖像感測器可以在相同時間內比其他圖像感測器消耗更少的功率。在一些實現方式中,當曝光訊窗尺寸減小時,圖元的畫面播放速率可以增加。在使用更快畫面播放速率的情況下,設備可以更快地偵測光強度的變化。
在一些實現方式中,較低功率圖像感測器可以包括比另一個圖像感測器更低的解析度。由於與其他圖像感測器相比,針對較低功率圖像感測器的每訊框讀取的圖元更少,因此較低功率圖像感測器在訊框內消耗的功率可以比其他圖像感測器更少。若較低功率圖像感測器(具有較低解析度)與具有較高解析度的其他圖像感測器的畫面播放速率相同,則較低功率圖像感測器可以在相同時間內比其他圖像感測器消耗更少的功率。儘管較低功率圖像感測器可以具有較低解析度,但是該解析度可以適合用於量測場景中的不同區域的光強度的變化。若光強度在針對訊框的整個較低功率圖像感測器(或其大部分)內改變,則設備可以決定該變化是全域運動(移動攝像機)而不是局部運動(物件進入場景)的結果。若光強度的變化僅在較低功率圖像感測器的視場的一部分中,則設備可以決定該變化是局部運動(物件在場景中移動)的結果。例如,較低功率圖像感測器的外部圖元(諸如邊緣圖元)可以首先為進入較低功率圖像感測器的視場的物件量測不同的光強度。當物件接近較低功率圖像感測器的視場的中間時,相鄰圖元可以隨後量測不同的光強度。附加圖元可以量測不同的光強度,直到物件移動到較低功率圖像感測器的視場的中心為止。在這一點上,較低功率圖像感測器的中心圖元可以量測不同的光強度。在另一個實例中,當物件在訊框期間跨場景移動時,相鄰圖元可以量測跨訊框的不同光強度。例如,使用者在視場內移動他的手會導致較低功率圖像感測器中的從一側到另一側的圖元序列,以量測跨訊框的不同光強度。以此種方式,設備可以追蹤在場景中移動的物件。量測不同的光強度是指量測與先前訊框中的光強度不同的後續訊框中的光強度。在一些實現方式中,不同的光強度可以指由圖元(或圖元的區域)量測的光強度的差異大於訊框之間的閾值(以過濾歸因於雜訊的光強度的變化)。
儘管較低功率圖像感測器可以具有足夠解析度來偵測進入場景的物件,但是較低功率圖像感測器可能不具有足夠解析度以用於由設備執行的操作。例如,較低功率圖像感測器可以具有用於物件偵測的足夠解析度,以決定可能的面部是否朝著圖像感測器的視場的中心移動,但是較低功率圖像感測器的解析度可能不足以進行臉孔辨識。在一個實例中,較低功率圖像感測器可以用於偵測場景中是否存在面部(諸如基於光強度的變化),但是較低功率圖像感測器可以不包括用於辨識場景中的面部(諸如辨識眼睛、鼻子或嘴,眼睛、鼻子或嘴之間的空間或眼睛是否張開)的足夠解析度。較高功率圖像感測器可以用於辨識面部的臉孔辨識。在另一個實例中,較低功率圖像感測器可以用於辨識使用者手勢(諸如向左、向右、向上或向下揮動手臂)以用於向設備的手勢命令。設備可以執行與手勢相關聯的操作(諸如為閃光燈操作供電、調節音量、調節顯示亮度等)。若將執行的設備操作是攝像機操作,則可以基於使用者手勢將較高功率圖像感測器用於成像。若設備操作是活動深度感測,則較高功率圖像感測器可以是被配置用於接收光的反射以用於活動深度感測的圖像感測器。
在除了物件偵測的另一個實例中,較低功率圖像感測器可以擷取用於圖像分析或視訊內容分析的光資訊,以決定場景中的時間事件或空間事件。例如,較低功率圖像感測器的量測可以用於決定場景中的全域運動或局部運動的量、場景中的整體光強度、整體光強度隨時間的變化、跨場景的不同部分的光強度的範圍等等。隨後,該資訊可以用於配置較高功率圖像感測器,以用於擷取一或多個圖像訊框(諸如用於靜止圖像或用於視訊)。例如,該資訊可以用於設置初始曝光設置,或者以其他方式用於配置較高功率圖像感測器以用於圖像擷取。
對於較低功率圖像感測器(諸如AO圖像感測器),第一設備模式可以是低功率模式(為此使用了較低功率圖像感測器),並且第二設備模式可以是活動模式(為此使用了較高功率圖像感測器)。在一個實例中,低功率模式可以包括使用AO圖像感測器來擷取來自智慧型電話的前側(包括顯示器的側面)的光資訊,以偵測面部何時可以在顯示器的前方。若智慧型電話在低功率模式下偵測到面部,則智慧型電話可以切換到活動模式。活動模式可以包括使用較高功率圖像感測器用於臉孔辨識。切換設備模式可以包括切換OE模式,使得兩個圖像感測器皆從智慧型電話的前方使用相同的光圈。以此種方式,設備可以在沒有提示的情況下執行面部解鎖或其他臉孔辨識操作(諸如不要求使用者在觸敏設備顯示器上滑動、開啟設備顯示器,或者以其他方式指示設備執行面部解鎖)。亦可以藉由設備使用較低功率圖像感測器(諸如AO圖像感測器)來決定何時喚醒或以其他方式將自身從較低功率模式去除(諸如基於場景中的使用者手勢或使用者面部)。
返回參考圖3A,第一光圈320可以被配置為接收入射到設備300的任一側的光。例如,若設備300是智慧型電話,則第一光圈320可以位於智慧型電話的任一側上。若設備300包括第二光圈322,則第二光圈322亦可以被配置為接收入射到設備300的任一側的光。例如,第二光圈322可以位於智慧型電話的任一側上。在一些實現方式中,光圈320和322位於不同側上(諸如一個面向後方(在與包括顯示器314的側面相對的側面上)和一個面向前方(在包括顯示器314的側面上))。在一些其他實現方式中,光圈320和322可以位於同一側使能夠(諸如皆面向後方或者皆面向前方)。
第一圖像感測器302和第二圖像感測器303可以是任何合適的圖像感測器,並且可以以任何合適的方式配置。如上所指出,第一圖像感測器302可以是較低功率圖像感測器,並且第二圖像感測器303可以是較高功率圖像感測器。第一圖像感測器302可以在第一設備模式(諸如較低功率模式)期間是活動的,而第二圖像感測器303可以在第二設備模式(諸如活動模式)期間是活動的。在一些其他實現方式中,第一圖像感測器302被配置為以第一FOV(諸如遠攝FOV)擷取圖像,並且第二圖像感測器303被配置為以第二FOV(諸如寬FOV或超寬FOV)擷取圖像。FOV可以基於被配置為將光引導朝向圖像感測器以用於圖像擷取的一或多個透鏡,或者可以基於圖像感測器的尺寸。
在一些其他實現方式中,第一圖像感測器302與第一縮放因數相關聯,並且第二圖像感測器303與第二縮放因數相關聯。例如,一或多個透鏡可以被配置為放大第一圖像感測器302的場景,並且可以不針對第二圖像感測器303放大該場景。以此種方式,第一圖像感測器302與和第二圖像感測器303相關聯的縮放因數相比更大的的縮放因數相關聯。
在一些其他實現方式中,第一圖像感測器302與第一景深相關聯,並且第二圖像感測器303與第二縮放因數相關聯。例如,一或多個透鏡可以被配置為將場景的一部分置於焦點上的第一深度範圍,以用於由第一圖像感測器302擷取的圖像。位於第二深度範圍的場景的不同部分可以在焦點上,以用於由第二圖像感測器303擷取的圖像。以此種方式,第一圖像感測器302可以用於擷取第一景深中的物件的圖像,並且第二圖像感測器303可以用於擷取第二景深中的物件的圖像。
在一些另外的實現方式中,第一圖像感測器302可以耦合到濾色器陣列(諸如RGB濾色器陣列(CFA)),並且第二圖像感測器303可以耦合到不同類型的濾波器或者可能沒有耦合到濾波器。示例濾波器包括用於特定波長範圍的光(諸如用於特定顏色、用於紅外光等)的帶通濾波器。如本文所使用,圖像感測器可以指圖像感測器本身或圖像感測器以及耦合到圖像感測器的一或多個部件。例如,彩色圖像感測器可以指圖像感測器和關聯彩色CFA。在另一個實例中,紅外(IR)圖像感測器可以指與CFA不相關聯的圖像感測器或圖像感測器以及用於過濾IR光之外的光的至少一部分的關聯帶通濾波器。在另一個實例中,單色圖像感測器可以指與CFA不相關聯的圖像感測器。
IR圖像感測器被配置為接收IR光。在一些實現方式中,IR圖像感測器被配置為接收大於IR的頻率範圍內的光。例如,未耦合到濾色器陣列的圖像感測器可以能夠量測來自大範圍頻率(諸如彩色頻率和IR頻率)的光的光強度。在一些其他實現方式中,IR圖像感測器被配置為接收特定於IR光頻率的光。例如,IR圖像感測器可以包括或耦合到帶通濾波器,以過濾與IR光不相關聯的頻率範圍之外的光。如本文所使用,IR光可以包括可見光譜的部分及/或肉眼不可見的光譜的部分。在一個實例中,IR光可以包括近紅外(NIR)光,其可以包括或可以不包括可見光譜內的光,及/或在可見光譜之外的IR光(諸如遠紅外(FIR)光)。術語IR光不應限於具有在IR光的波長範圍內或附近的特定波長的光。此外,IR光被提供作為用於活動深度感測的示例發射。在以下描述中,其他合適波長的光可以由圖像感測器擷取或用於活動深度感測,並且IR圖像感測器或活動深度感測不限於IR光或特定頻率的IR光。
記憶體306可以是儲存電腦可執行指令308以執行本揭示中描述的一或多個操作的全部或一部分(諸如用於調節光學元件的位置)的非暫態或非暫時性電腦可讀取媒體。處理器305可以是能夠執行儲存在記憶體306內的一或多個軟體程式的腳本或指令(諸如指令308)的一或多個合適的處理器(諸如通用處理器)。例如,處理器305可以是應用處理器並執行成像應用。在附加或替代態樣中,處理器305可以包括積體電路或其他硬體,以執行本揭示中描述的功能或操作,而無需使用用於處理器305的軟體。
處理器305包括控制器310,以用於選擇將被使用的圖像感測器(諸如選擇第一設備模式或第二設備模式)以及用於控制光學元件304(諸如在第一OE模式與第二OE模式之間進行切換)。在一些實現方式中,控制器310可以被配置為調節光學元件304的位置(諸如藉由旋轉或平移光學元件304)。例如,當在OE模式之間進行切換時,控制器310可以指示致動器平移光學元件304。在另一個實例中,當在OE模式之間進行切換時,控制器310可以指示致動器旋轉光學元件304。
在一些其他實現方式中,控制器310可以被配置為調節光學元件304的狀態(諸如藉由施加電流或其他刺激)。光學元件的狀態可以包括基於刺激的光學元件304的反射率或透明度(或折射率)。例如,對於第一OE模式,控制器310可以使電流不被施加到光學元件304,並且對於第二OE模式,可以使電流施加到光學元件304。
在一些實現方式中,控制器310亦決定或以其他方式控制哪個圖像感測器將被用於圖像擷取。例如,控制器310選擇藉由圖像信號處理器312處理由第一圖像感測器擷取的圖像串流還是由第二圖像感測器擷取的圖像串流,以用於產生圖像或視訊。在另一個實例中,圖像信號處理器312處理兩個圖像串流,並且控制器310選擇所處理的串流中的一個以用於產生視訊圖像。在另一個實例中,控制器310使用第一圖像感測器(作為較低功率圖像感測器)以在第一模式期間擷取圖像,並且控制器310初始化第二圖像感測器(作為較高功率圖像感測器)以在第二模式期間擷取圖像。例如,在低功率模式期間,智慧型電話是非活動的(諸如顯示器關閉)。智慧型電話可以處於較低功率模式,為此控制器310從較低功率圖像感測器接收圖像。控制器310(或圖像信號處理器312)可以決定所接收的圖像訊框上的一或多個圖元的光強度的差異。控制器310可以決定與使用者手勢相關聯的光強度的變化,以喚醒智慧型電話或面部位於智慧型電話的顯示器的前方。控制器310隨後可以喚醒顯示器。若將執行臉孔辨識(諸如藉由偵測接近較低功率圖像感測器的視場的中心的面部),則控制器310可以將設備模式切換到活動模式。在一些實現方式中,控制器310切換OE模式,使得較高功率圖像感測器可以用於使用相同設備光圈的臉孔辨識。以此種方式,在設備模式之間進行切換亦可以包括調節光學元件304的狀態。儘管描述了較低功率圖像感測器(諸如AO圖像感測器)的一些示例使用,但是可以實現任何合適的使用,並且本揭示不限於所提供的實例。
返回參考圖3A,儘管被示為經由示例設備300中的處理器305彼此耦合,但是處理器305、記憶體306、圖像信號處理器312、任選顯示器314和任選I/O部件316可以以各種佈置彼此耦合。例如,處理器305、記憶體306、圖像信號處理器312、任選顯示器314和任選I/O部件316可以經由一或多個區域匯流排(為簡單起見未圖示)彼此耦合。
顯示器314可以包括允許使用者互動及/或呈現項目(諸如來自第一圖像感測器302或第二圖像感測器303的所擷取的圖像、視訊或預覽圖像)的任何合適的顯示器或螢幕。在一些態樣中,顯示器314可以包括觸敏顯示器。I/O部件316可以包括任何合適的機制、介面或設備,以從使用者接收輸入(諸如命令)並向使用者提供輸出。例如,I/O部件316可以包括圖形使用者介面、鍵盤、滑鼠、麥克風和揚聲器等。感測器326可以包括任何合適的感測器,諸如運動和方位感測器、定位感測器、溫度感測器等。運動和方位感測器可以包括加速度計、陀螺儀或磁力計。定位感測器可以包括全球定位系統(GPS)接收器。
在一些實現方式中,設備模式或OE模式可以基於設備300的方位或運動。設備方位或運動可以是基於來自多個感測器326的一或多個量測決定的(諸如根據磁力計的量測而決定的方位)。另外或替代地,設備的方位或運動可以是根據由圖像感測器在多個圖像訊框上擷取的光資訊的差異決定的。
在示例使用情況下,設備300可以是處於低功率狀態、被鎖定或以其他方式具有螢幕鎖定的智慧型電話。設備300可以包括在設備300的前側(與顯示器314並置)上的第一光圈320,並且設備300可以包括在設備300的後側(與具有顯示器314的前側相對的側面)上的第二光圈322。設備300可以被配置為基於使用者的臉孔辨識來執行非接觸式螢幕解鎖。第一圖像感測器302可以是用於偵測面部是否接近第一圖像感測器302的視場的中心的較低功率圖像感測器。第二圖像感測器303可以是用於執行臉孔辨識的較高功率圖像感測器。以此種方式,第一設備模式可以包括基於由第一圖像感測器302擷取的圖像的物件偵測模式,並且第二設備模式可以包括基於由第二圖像感測器303擷取的圖像的臉孔辨識模式。
哪個光圈將被用於臉孔辨識(並且因此設備300的OE模式)可以基於設備300的方位。若設備300被前側朝上放置在桌子、椅子或其他表面上,則第二光圈322可以指向該表面。作為結果,可能期望第一光圈320用於基於臉孔辨識的非接觸式螢幕解鎖。當螢幕被鎖定時,設備300可以從一或多個感測器接收週期性量測。例如,設備300可以從磁力計接收週期性量測。控制器310可以基於磁力計量測來參考方位角決定設備300的方位。
若設備300的所決定的方位是前側朝上並且與方位角近似水平,則控制器310可以決定第一光圈320將用於第一設備模式(使用較低功率圖像感測器的物件偵測)並用於第二設備模式(使用較高功率圖像感測器的臉孔辨識)。以此種方式,控制器310可以在等待面部出現在視場中的同時將設備模式設置為第一設備模式,並且控制器310可以控制光學元件304,使得來自第一光圈320的光被引導朝向第一圖像感測器302。當控制器310在場景中偵測到朝向第一圖像感測器302的視場的中心的面部(或其他物件)時,控制器310可以切換設備模式以開始使用用於圖像擷取的第二圖像感測器303。在切換設備模式時,控制器310可以初始化第二圖像感測器303或將第二圖像感測器303從非活動狀態去除。控制器310亦可以切換OE模式,使得來自第一光圈320的光被引導朝向第二圖像感測器303。隨後可以使用來自第二圖像感測器303的圖像執行臉孔辨識。
若設備300前側向下朝向表面定向,則第一光圈320指向該表面。該方位可以是根據磁力計量測、來自第一圖像感測器302或第二圖像感測器303的光強度資訊、或者來自其他合適的方位感測器的量測決定的。在該實例中,可能期望將第二光圈322用於第一設備模式期間的物件偵測以及第二設備模式期間的臉孔辨識。控制器310可以控制光學元件304,以在第一設備模式期間將來自第二光圈322的光引導朝向第一圖像感測器302,並且在第二設備模式期間將來自第二光圈322的光引導朝向第二圖像感測器303。
圖像信號處理器312可以被配置為處理從第一圖像感測器302和第二圖像感測器303擷取的圖像。在一些實現方式中,圖像信號處理器312包括影像處理管線的一或多個濾波器,並且濾波器可以是基於來自處理器305的指令配置的。例如,圖像信號處理器312可以包括降噪濾波器、邊緣增強濾波器、圖像穩定濾波器、彩色校正濾波器以及在處理期間應用於圖像或視訊的其他濾波器。
在一些態樣中,圖像信號處理器312可以執行來自記憶體的指令(諸如來自記憶體306的指令308或者被儲存在耦合到或包括在圖像信號處理器312中的單獨記憶體中的指令)。在一些其他態樣中,圖像信號處理器312可以包括特定硬體以執行本揭示中描述的一或多個操作。在一些其他態樣中,圖像信號處理器312可以包括特定硬體和能力的組合以執行軟體指令。
可以以某種方式調節光學元件304以在OE模式之間進行切換。例如,光學元件304可以包括反射表面(諸如鏡子)或折射元件(諸如五稜鏡),以在第一OE模式期間將來自第一光學路徑301的光引導至第一圖像感測器302。當切換到第二OE模式時,光學元件304可以被平移、可以被旋轉,或者可以以其他方式被調節為不使來自第一光學路徑301的光被引導至第一圖像感測器302。例如,在第二OE模式期間,來自第一光學路徑301的光可以被引導至第二圖像感測器303。
若設備300包括第二光圈322和第二光學路徑324,則光學元件304可被配置為在第一OE模式期間將來自第二光學路徑324的光引導至第二圖像感測器303。例如,光學元件304可以包括第二反射表面或第二折射元件,以在第一OE模式期間將來自第二光學路徑324的光引導至第二圖像感測器303。當切換到第二OE模式時,光學元件304可以被平移、可以被旋轉,或者可以以其他方式被調節為不使來自第二光學路徑324的光被引導至第二圖像感測器303。例如,在設備300的第二模式期間,來自第二光學路徑324的光可以被引導至第一圖像感測器302。
以此種方式,當在第一OE模式下時,沿著第一光學路徑301的光可以被引導至第一圖像感測器302,並且當在第二OE模式下時,沿著第一光學路徑301的光可以被引導至第二圖像感測器303。參考圖4A至圖6H更詳細地描述了光學元件的示例操作和配置。
如本文所指出,一或多個光圈320和324可以以任何合適的方式定向,並且圖像感測器302和303可以被配置用於任何合適的目的。第一光圈320可以在設備300的任一側上。例如,第一光圈320可以與智慧型電話上的顯示器並置(設備的前方),或者第一光圈320可以位於智慧型電話與顯示器相對的側面上(設備的後方)。若設備300包括光圈320和光圈324兩者,則光圈可以在任何合適的側面上並且可以在同一側或不同側上,這取決於將使用圖像感測器302和303執行的操作。圖3B至圖3G示出光圈的一些示例配置以及用於多個圖像感測器的一些示例操作和使用情況。儘管圖3B至圖3G中的示例設備被示為智慧型電話,但是任何合適的設備或部件的配置可以用於執行本揭示的態樣。附圖中的示例設備是圖3A中的設備300的示例實現方式,但是可以使用任何合適的設備或配置。
圖3B圖示在第一側上具有第一光圈332以及在第二側上具有第二光圈334的設備330的圖示。在實例中,第一光圈332在智慧型電話的包括顯示器331的側面上。第二光圈334在智慧型電話的與顯示器331相對的側面上。第一光圈332可以用於面向前方的圖像擷取(諸如用於擷取自拍圖像、擷取用於物件偵測和臉孔辨識的圖像等),並且第二光圈334可以用於面向後方的圖像擷取(諸如擷取組圖像、風景圖像等)。
設備330被配置為在第一圖像感測器302與第二圖像感測器303之間進行切換,以接收來自第一光圈332的光。在一個實例中,若第一圖像感測器302是較低功率圖像感測器並且第二圖像感測器303是較高功率圖像感測器,則設備模式可以基於設備300是否處於低功率模式。在另一個實例中,若第一圖像感測器302被配置用於以遠攝FOV來擷取圖像(諸如基於被配置為將光引導至第一圖像感測器302上的一或多個透鏡,或者第一圖像感測器302的尺寸),並且第二圖像感測器303被配置用於以寬FOV來擷取圖像(諸如基於被配置為將光引導至第二圖像感測器303上的一或多個透鏡,或者第二圖像感測器303的尺寸),則選擇設備模式可以基於圖像或視訊的期望FOV。作為結果,設備330被配置為基於選擇哪個圖像感測器來調節用於圖像擷取的FOV(在遠攝FOV與寬FOV之間)。在一個實例中,可以基於模式之間進行切換來調節用於將(從第一光圈332)擷取的自拍圖像的FOV。在另一個實例中,若第一圖像感測器302被配置用於以第一光學縮放或第一景深來擷取圖像(諸如基於耦合到第一圖像感測器302的一或多個透鏡),並且第二圖像感測器303被配置用於以第二光學縮放或第二景深來擷取圖像(諸如基於耦合到第二圖像感測器303的一或多個透鏡),則設備330被配置為基於設備模式來針對圖像擷取調節光學縮放或景深。以此種方式,可以基於在設備模式之間進行切換來調節將被擷取的自拍圖像(來自第一光圈332)的光學縮放或景深。何時在設備模式之間進行切換可以基於使用者輸入或者設備330自動地決定何時進行切換(諸如基於不同FOV內的物件追蹤、在執行縮放功能以用於圖像擷取時對縮放因數的改變等)。
當第一光圈332耦合到第一圖像感測器302時(諸如在第一OE模式期間),設備330後方的第二光圈334可以耦合到第二圖像感測器303。相反,當第一光圈332耦合到第二圖像感測器303時(諸如在第二OE模式期間),第二光圈334可以耦合到第一圖像感測器302。以此種方式,若設備330在調節FOV、光學縮放或景深時切換OE模式,則設備330可以調節FOV、光學縮放或景深以用於從設備330的後方進行的擷取圖像。例如,可以藉由基於將在圖像中被擷取的目標物件的深度切換OE模式來調節用於使用第二光圈334的圖像擷取的景深。在另一個實例中,可以藉由基於將擷取的圖像的類型(諸如用於人員的圖像擷取的遠攝FOV和用於風景的圖像擷取的寬FOV)切換OE模式來調節用於使用第二光圈334的圖像擷取的FOV。何時在設備模式或OE模式之間進行切換可以基於使用者輸入或者設備330自動地決定何時進行切換(諸如基於自動地偵測將被擷取的物件或場景及其深度、參考FOV的尺寸等)。以此種方式,基於設備330的模式,面向前方的圖像(使用第一光圈332擷取)和面向後方的圖像(使用第二光圈334擷取)皆可以具有可調節的FOV、光學縮放、景深等。
在一些其他實現方式中,第一光圈和第二光圈可以在設備的同一側上。圖3C圖示在包括顯示器336的側面上具有第一光圈337和第二光圈338的設備335的圖示。圖3D圖示在與顯示器相對的側面上具有第一光圈341和第二光圈342的設備340的圖示。在第一OE模式期間,第一圖像感測器302可以接收來自第一光圈337或341的光,並且在第二OE模式期間,第二圖像感測器303可以接收來自第一光圈337或341的光。相反,在第二OE模式期間,第一圖像感測器302可以接收來自第二光圈338或342的光,並且在第一OE模式期間,第二圖像感測器303可以接收來自第二光圈338或342的光。在圖3C中,第一光圈337與第二光圈338間隔開距離339。在圖3D中,第一光圈341與第二光圈342間隔開距離343。
若第一光圈337或341以及第二光圈338或342被配置為接收來自場景的相同(或重疊)部分的光,則可以藉由圖像感測器使用第一光圈337或341以及第二光圈338或342,以從不同視角擷取場景部分的圖像。例如,若第一光圈337在第一OE模式期間耦合到第一圖像感測器302,並且第二光圈338在第二OE模式期間耦合到第一圖像感測器302,則可以基於切換OE模式來調節使用第一圖像感測器302的圖像擷取的視角。類似地,可以基於切換OE模式來調節使用第二圖像感測器303的圖像擷取的視角。
可以在設備模式期間切換OE模式。以此種方式,處於第一設備模式的設備使用第一圖像感測器302來擷取圖像或視訊,並且第一圖像感測器302可以在第一設備模式期間基於OE模式從不同視角擷取圖像。
設備可以被配置為將視角的差異用於由第一圖像感測器302及/或第二圖像感測器303進行的圖像擷取,以用於立體成像或視覺。例如,設備可以在第一OE模式與第二OE模式之間交替,並且因此第一圖像感測器302在從第一視角擷取一或多個圖像與從第二視角擷取一或多個圖像之間交替。在第一OE模式期間擷取的圖像可以與在第二OE模式期間擷取的圖像配對,並且圖像之間的視差可以用於產生三維圖像。若設備以足夠的速率(諸如每秒10到60次)交替,則可以針對三維視訊產生三維圖像串流。
在一些實現方式中,當第一圖像感測器302是較低功率圖像感測器並且第二圖像感測器303是較高功率圖像感測器時,第一圖像感測器302可以在第一設備模式期間用於場景分析,並且第二圖像感測器303可以在第二設備模式期間用於場景分析之後的圖像擷取。例如,較低功率圖像感測器的圖像可以用於決定第二圖像感測器303的曝光設置或其他合適的擷取設置。設備可以切換到第二設備模式,其中第二圖像感測器303是使用所決定的擷取設置配置的。設備的同一側上的光圈可以與不同視角、不同FOV、不同景深或其他不同特性相關聯。以此種方式,控制器310可以基於被期望用於圖像擷取的視角、FOV、景深或其他特性來決定OE模式。在第一設備模式下,來自期望光圈的光被引導朝向第一圖像感測器302。在第二設備模式下,控制器310可以切換OE模式,使得來自期望光圈的光被引導朝向第二圖像感測器303。
當第一圖像感測器302被配置為接收來自第一光圈337或341的光時,第二圖像感測器303可以被配置為接收來自第二光圈338或342的光。以此種方式,第一圖像感測器302及第二圖像感測器303同時擷取場景的重疊部分(或相同部分)的圖像。在一些實現方式中,第一圖像感測器302可以被配置為擷取圖像以用於三維成像,並且第二圖像感測器303可以被配置用於輔助一或多個操作以用於配置第一圖像感測器302及其圖像處理管線。例如,設備執行自動聚焦、自動曝光或自動白平衡(AWB)操作(3A操作)中的一或多個,以決定聚焦設置、曝光設置或AWB設置。來自第二圖像感測器303的擷取可以用於決定第一圖像感測器302(及其關聯圖像處理管線)的自動聚焦、自動曝光或AWB設置。
在一些其他實現方式中,第一圖像感測器302可以與具有第一FOV、第一光學縮放或第一景深的三維成像相關聯,並且第二圖像感測器303可以與具有第二FOV、第二光學縮放或第二景深的三維成像相關聯。設備330可以同時產生具有不同FOV、縮放因數或景深的三維圖像。在產生三維視訊(包括一系列三維圖像)的一些實現方式中,設備可以在設備模式之間進行切換。以此種方式,設備可以在使用根據來自第一圖像感測器302的圖像產生的三維圖像與根據來自第二圖像感測器303的圖像產生的三維圖像之間進行切換以產生視訊。以此種方式,設備可以調節視訊中場景的FOV、縮放或景深。
作為第一光圈337或341被配置為接收來自與第二光圈338或342相同的場景部分的光的替代,第一光圈337或341以及第二光圈338或342可以被配置為接收來自場景的不同部分的光。例如,當設備340處於肖像方位時,第一光圈341可以被配置為接收來自場景的頂部的光,並且第二光圈可以被配置為接收來自場景的底部的光。互補圖像中的場景的不同部分可以被縫合在一起以產生較寬FOV圖像。為了縫合的目的,頂部和底部可以具有一些重疊。
在第一OE模式下,第一圖像感測器302被配置為擷取場景的頂部的一或多個圖像。在第二OE模式下,第一圖像感測器302被配置為擷取場景的底部的一或多個圖像。在第一OE模式期間由第一圖像感測器302擷取的圖像可以與在第二OE模式期間由第一圖像感測器302擷取的圖像配對,並且所配對的圖像可以被組合(諸如被縫合在一起),以增大使用第一圖像感測器302產生的圖像的FOV。以此種方式,設備340可以被配置為產生全景圖像,而無需使用者移動設備340。在一些實現方式中,來自第二圖像感測器303的擷取可以用於決定第一圖像感測器302(及其關聯圖像處理管線)的自動聚焦、自動曝光或AWB設置。在一些其他實現方式中,第二圖像感測器303被配置為擷取具有與第一圖像感測器302不同的縮放因數或景深的圖像。以此種方式,設備340可以被配置為產生具有不同縮放因數或景深的全景圖像。調節縮放因數或景深可以基於切換設備模式的設備340(以及因此將使用哪個圖像感測器)。類似於具有可調節縮放因數或景深的三維視訊的實例,具有較大FOV的視訊可以基於在使用第一圖像感測器302和第二圖像感測器303產生的圖像之間進行切換而包括可調節縮放因數或景深。
返回參考圖3B,若光圈332和334在設備330的不同側上,則設備330可以被配置用於從不同的設備側的同時圖像擷取(諸如使用第一光圈332的自拍圖像擷取和使用第二光圈334的風景圖像擷取)。如此,顯示器331上的圖形使用者介面(GUI)可以被配置用於使使用者指示期望從哪個側面進行圖像擷取以及圖像擷取的一或多個特性,諸如FOV、縮放因數或景深(這可以影響將被選擇的設備模式)。
圖3E圖示在從設備345的第一側與從設備345的第二側的圖像擷取之間進行切換的設備345的圖示。設備345可以是圖3B中的設備330的示例實現方式。基於執行攝像機應用的設備345,顯示器346可以顯示用於攝像機應用的GUI。GUI可以包括將由使用者使用以指示設備345何時將擷取圖像或視訊(諸如,從第一圖像感測器302擷取的圖像訊框串流或者從第二圖像感測器303擷取的圖像訊框串流)的快門按鈕347。在第一OE模式下,第一圖像感測器302可以從設備345的前方擷取圖像(諸如使用圖3B中的第一光圈332),並且第二圖像感測器303可以從設備345的後方擷取圖像(諸如使用圖3B中的第二光圈334)。在切換OE模式時,前圖像感測器302從設備345的後方擷取圖像,並且第二圖像感測器303從設備345的前方擷取圖像。
第一圖像感測器302和第二圖像感測器303可以同時從設備345的前方和後方擷取圖像。在圖像感測器302和303兩者同時擷取圖像訊框串流的情況下,使用者可以決定從哪個側面擷取圖像或視訊。例如,顯示器346可以基於使用者希望設備345產生圖像的方向來顯示來自第一圖像感測器302或第二圖像感測器303的圖像訊框的預覽。在圖3E的左側,設備345顯示可以被第一圖像感測器302擷取的自拍圖像的預覽。若使用者希望從設備345的後方擷取圖像,則使用者可以選擇攝像機切換348。GUI中的攝像機切換348可以是按鈕(如圖所示)、滾輪、滑塊或其他互動物件,並且可以被配置為接收任何合適的使用者輸入(諸如在顯示器346上的輕敲、在顯示器346上的滑動、設備345的晃動、聲音命令等)。當使用者按下攝像機切換348時,設備345可以顯示來自第二圖像感測器303的圖像擷取串流的預覽。
第一圖像感測器302可以與擷取具有第一FOV、第一縮放因數或第一景深的圖像相關聯,並且圖像感測器303可以與擷取具有第二FOV、第二縮放因數或第二景深的圖像相關聯。使用者可以指示優選的FOV、縮放因數或景深。例如,使用者可以使用選擇工具349來指示將被擷取的圖像的縮放因數(諸如按下-進行縮小,並且按下+進行放大)。隨後,可以基於縮放因數決定設備模式。例如,若第一圖像感測器302與0x光學縮放相關聯(透鏡並不放大由圖像感測器302擷取的圖像的場景),並且第二圖像感測器303與5x光學縮放相關聯(一或多個透鏡將場景放大到在由圖像感測器303擷取的圖像中顯現為大五倍),則第一圖像感測器302可以用於小於0x與5x之間的閾值的使用者選擇的縮放因數的圖像擷取。若設備345將擷取自拍圖像並且縮放因數小於閾值,則設備345處於用於自拍圖像擷取的第一設備模式。第二圖像感測器303可以用於大於閾值的使用者選擇的縮放因數的圖像擷取。若用於擷取自拍圖像的設備345接收大於閾值的縮放因數的指示,則設備345處於用於自拍圖像擷取的第二設備模式。在一些其他實現方式中,使用者可以明確地指示用於圖像擷取的模式(或將被使用的圖像感測器)。
使設備模式基於FOV、縮放因數或景深亦可以應用於圖3C中的設備335或圖3D中的設備340,其中兩個光圈皆在設備的同一側上。例如,使用者可以指示期望的FOV、縮放因數或景深,並且用於圖像擷取的圖像感測器可以基於使用者指示。圖3F圖示針對設備350所擷取的圖像調節FOV或縮放因數的設備350的圖示。設備350可以是圖3D中的設備340的示例實現方式,因此包括在設備350的後方上的兩個光圈。顯示器351顯示用於攝像機應用的GUI,並且該GUI可以包括快門按鈕352,以指示設備350何時擷取圖像或視訊。GUI亦可以包括選擇工具353,以指示FOV或縮放因數。對於縮放因數實例,第一圖像感測器302可以與0x縮放因數相關聯,並且第二圖像感測器303可以與5x縮放因數相關聯。使用者可以藉由按下選擇工具353上的T、將選擇工具353中部的滑塊移向T、向右滑動選擇工具353、提供觸覺或聽覺指令或其他合適的輸入來放大將被擷取的圖像。對於FOV實例,第一圖像感測器302可以與比第二圖像感測器303更大的FOV相關聯。使用者可以藉由按下選擇工具353上的W(諸如用於寬角度)、將選擇工具353中部的滑塊移向W、向左滑動選擇工具353、提供觸覺或聽覺指令或其他合適的輸入來增大將被擷取的圖像的FOV。顯示器351亦基於使用者所指示的縮放因數或FOV來顯示將被擷取的圖像的預覽。
參考光學縮放實例,第一圖像感測器302(例如,與0x光學縮放相關聯)還是第二圖像感測器303(例如,與5x光學縮放相關聯)將擷取圖像是基於所指示的縮放因數的。例如,若所指示的縮放因數小於閾值,則可以使用第一圖像感測器302,並且若所指示的縮放因數大於閾值,則可以使用第二圖像感測器303。如本文所指出,第一設備模式是指使用第一圖像感測器302以用於圖像擷取,並且第二設備模式是指使用第二圖像感測器303以用於圖像擷取。以此種方式,第一模式可以指使用第一圖像感測器302以用於三維成像、較寬FOV成像等(其中設備350在使用不同的光圈來擷取關聯圖像訊框之間進行切換),並且第二模式可以指使用第二圖像感測器303以用於三維成像、較寬FOV成像等(其中設備350在使用不同的光圈來擷取關聯圖像訊框之間進行切換)。因此,對於三維成像和較寬FOV成像,第一圖像感測器302可以與用於第一模式的第一部分的第一光圈相關聯,並且可以與用於第一模式的第二部分的第二光圈相關聯。相反,對於三維成像和較寬FOV成像,第二圖像感測器303可以與用於第二模式的第一部分的第二光圈相關聯,並且可以與用於第二模式的第二部分的第二光圈相關聯。
如針對圖3E和圖3F所描述的,設備可以基於設備模式來調節FOV、縮放因數、景深或其他合適的特性。在一些其他實現方式中,第一圖像感測器和第二圖像感測器可以用於散景效果(bokeh effect)或基於景深的其他效果。例如,返回參考圖3C,若設備335被配置用於三維成像,第一圖像感測器302與第一景深相關聯,並且第二圖像感測器303與第二景深相關聯,則設備335可以使用景深的差異,以針對三維或較寬FOV自拍圖像應用散景效果(諸如模糊或以其他方式調節人員的背景)。
設備模式之間的不同圖像擷取特性可以基於圖像感測器與耦合到圖像感測器的部件之間的差異。以此種方式,除FOV、縮放因數和景深之外的特性可以基於設備模式。例如,若第一圖像感測器302耦合到彩色CFA並且第二圖像感測器303未耦合到濾波器,則第一模式可以與彩色成像相關聯(使用第一圖像感測器302),並且第二模式可以與灰階成像相關聯(使用第二圖像感測器303)。
儘管以上描述了共享一個或兩個光圈和光學路徑的兩個圖像感測器,但是設備可以包括共享任何數量的光圈和光學路徑的任何數量的圖像感測器。例如,設備300可以包括由第一圖像感測器302和第二圖像感測器303共享的第三光學路徑。在另一個實例中,設備300可以包括第三圖像感測器以共享第一光學路徑301。在一些另外的實例中,設備中可以包括共享光學路徑的兩個圖像感測器的多個系統。例如,設備300可以包括四個圖像感測器。第一圖像感測器302和第二圖像感測器303共享第一光學路徑301。第三圖像感測器和第四圖像感測器可以共享第三光學路徑(類似於共享光學路徑的第一圖像感測器和第二圖像感測器)。以此種方式,設備300可以具有四個光圈(包括第一光圈320和第二光圈322)。
圖3G圖示在包括顯示器362的側面上具有第一光圈364和第三光圈368並且在與顯示器362相對的側面上具有第二光圈366和第四光圈370的設備360的圖示。第一光圈364和第二光圈366可以由第一圖像感測器和第二圖像感測器共享(類似於圖3B)。另外,第三光圈368和第四光圈370可以由第三圖像感測器和第四圖像感測器共享。第一圖像感測器和第二圖像感測器可以與第一光學元件相關聯,並且第二第三圖像感測器和第四圖像感測器可以與第二光學元件相關聯。在一些實現方式中,第一光學元件的第一OE模式對應於第二光學元件的第一OE模式。以此種方式,光學元件可以同時切換OE模式。
在一些實現方式中,第三圖像感測器可以與第一圖像感測器互補(諸如以輔助執行針對第一圖像感測器的3A操作),並且第四圖像感測器可以與第二圖像感測器互補。例如,第一圖像感測器和第三圖像感測器可以與相同的FOV、縮放因數或景深相關聯,並且第二圖像感測器可以與不同的FOV、縮放因數或景深相關聯。第四圖像感測器可以與第二圖像感測器一樣與相同的FOV、縮放因數或景深相關聯。第三圖像感測器和第四圖像感測器可以被配置為基於同時切換光學元件的OE模式來分別從與第一圖像感測器和第二圖像感測器相同的設備側擷取圖像。以此種方式,互補圖像感測器可以用於第一圖像感測器或第二圖像感測器的一或多個3A操作。
在一些另外的實現方式中,第一圖像感測器和第三圖像感測器的圖像擷取可以對準,並且所對準的圖像可以用於立體成像。類似地,第二圖像感測器和第四圖像感測器的圖像擷取可以對準,並且所對準的圖像可以用於立體成像。以此種方式,設備360可以被配置為從設備360的前方或後方執行立體成像。
在一些其他實現方式中,每個圖像感測器可以用於圖像或視訊擷取。例如,設備360可以包括四個設備模式。第一圖像感測器至第四圖像感測器的至少子集可以與FOV、縮放因數、景深、彩色圖像擷取、灰階圖像擷取或其他圖像擷取特性的不同組合相關聯。以此種方式,四個設備模式中的設備模式可以指使用與期望的FOV、縮放因數、景深或其他擷取特性相關聯的圖像感測器中的一個。
在一些其他實現方式中,第一光圈364和第三光圈368可以由第一圖像感測器和第二圖像感測器共享(類似於圖3C)。另外,第二光圈366和第四光圈370可以由第三圖像感測器和第四圖像感測器共享(類似於圖3D)。以此種方式,設備360可以被配置用於從設備360的兩側進行的三維成像或較寬FOV成像(如參考圖3D描述的)。
對於圖3B至圖3G中的設備配置中的任一個,可以針對特定圖像感測器調節縮放因數或景深。例如,第一圖像感測器可以耦合到一或多個透鏡,並且透鏡位置可以被調節為改變第一圖像感測器與一或多個透鏡之間的距離。在另一個實例中,第一圖像感測器可以被配置為相對於一或多個透鏡移動以調節距離。以此種方式,可以調節第一圖像感測器的焦距以調節景深。參考下文的圖7B、圖7C、圖7E和圖7E描述了對透鏡位置的調節。
如本文所指出,哪個光圈與特定的時間點處的哪個圖像感測器相關聯可以基於光學元件的OE模式。在OE模式之間進行切換可以基於調節光學元件(諸如在不同方位之間旋轉光學元件、在不同位置之間移動光學元件或向光學元件施加電流或其他刺激)。
當切換OE模式包括旋轉光學元件時,光學元件可以在第一OE模式期間相對於來自第一光學路徑的接近光學元件的光而具有第一方位,並且光學元件可以在第二OE模式期間相對於來自第一光學路徑的光而具有第二方位。設備控制器(諸如控制器310)被配置為當在OE模式之間進行切換時使得光學元件的方位被調節。
圖4A圖示示例設備400部分的橫截面,其示出在第一OE模式期間與第一光學路徑406相關聯的第一圖像感測器402。第一圖像感測器402基於具有第一方位的光學元件414而與第一光學路徑406相關聯。圖4B圖示設備400部分的橫截面,其示出在第二OE模式期間與第一光學路徑406相關聯的第二圖像感測器404。第二圖像感測器404基於具有第二方位的光學元件414而與第一光學路徑406相關聯。
參考圖4A,光學元件414被配置為將來自第一光學路徑406的光(經由第一光圈410接收的)引導至第一圖像感測器402。光學元件414可以折射及/或反射光,以便將來自第一光學路徑406的光引導至第一圖像感測器402。例如,光學元件414可以包括反射表面,以將來自第一光學路徑406的光反射到第一圖像感測器402。在另一個實例中,光學元件414可以包括具有合適形狀和折射率的稜鏡,以將來自第一光學路徑406的光折射到第一圖像感測器402。第一光學路徑可以耦合到一或多個部件418,該一或多個部件418亦被配置為引導來自第一光學路徑406的光。例如,部件418可以包括反射表面,以將來自第一光學路徑406的光引導至光學元件414。光學元件414(和任何部件418)可以處於任何合適的方位和配置,以在第一OE模式期間將來自第一光學路徑406的光引導至第一圖像感測器402。設備400亦包括第二圖像感測器404。當在第一OE模式下時,第二圖像感測器404不接收來自第一光學路徑406的光。在所示的示例設備400中,光學元件414阻擋來自第一光學路徑406的光到達第二圖像感測器404(而是光被引導至第一圖像感測器402)。
在一些實現方式中,設備400亦包括耦合到第二光學路徑408的第二光圈412。第二光圈412被示為與第一光圈410相比在設備400的相對側上,但是第二光圈412可以位於在設備400的任何合適的側面上。儘管未圖示,但是第二光學路徑408可以耦合到一或多個部件,該一或多個部件被配置為將來自第二光學路徑408的光引導至光學元件414(諸如類似於部件418)。光學元件414可以被配置為折射及/或反射光,以便將來自第二光學路徑408的光引導至第二圖像感測器404。例如,光學元件414可以包括第二反射表面,以將來自第二光學路徑408的光引導至第二圖像感測器404。在另一個實例中,光學元件414的稜鏡可以被配置為基於稜鏡的形狀和稜鏡的反射率將來自第二光學路徑408的光引導至第二圖像感測器404。
光學元件414可以包括或耦合到致動器416,以控制光學元件414的旋轉。在一些實現方式中,致動器416包括或耦合到旋轉馬達或其他構件以移動光學元件414,並且致動器416由控制器(諸如圖3A中的控制器310)控制。例如,當從第一OE模式切換到第二OE模式時,控制器310指示致動器416將光學元件414從第一方位(諸如圖4A中所示)旋轉到第二方位。圖4A和圖4B(以及隨後附圖)中的實例可以指光學元件關於第一光學路徑的方位。儘管圖4A和圖4B(以及隨後附圖)中的實例可以指光學元件關於第一光學路徑的方位,但是光學元件的方位可以關於任何合適的設備部件或設備內的合適參考。例如,該方位可以關於圖像感測器的方位、關於發射器的方位、關於來自光學路徑的接近光學元件的光的方向等。
圖4B圖示圖4A中的設備400部分的橫截面,其中光學元件414具有用於第二OE模式的示例第二方位。在第二OE模式期間,設備400被配置為將來自第一光學路徑406的光引導至第二圖像感測器404。若設備400包括耦合到第二光學路徑408的第二光圈412,則設備400亦被配置為將來自第二光學路徑408的光引導至第一圖像感測器402。
在一些實現方式中,光學元件414可以在第二OE模式期間關於從第一光學路徑406接收的光是垂直的(在公差內)。儘管圖4B示出用於第二OE模式的光學元件414的一個示例方位,但是可以使用任何合適的方位。例如,在一些其他實現方式中,第二方位使得光學元件414垂直於來自第二光學路徑408的光。在一些其他實現方式中,第二方位使光學元件414的方位為使得來自第一光學路徑406的光和來自第二光學路徑408的光不被引導至光學元件414。例如,第二方位可以在致動器416關於第一方位的相對側上。以此種方式,當在第一OE模式與第二OE模式之間進行切換時,致動器可以使光學元件414旋轉180度。
在一些實現方式中,光學元件414可以包括折射率、反射率或透明度,該折射率、反射率或透明度基於光學元件414關於接近光學元件414的光(諸如來自第一光學路徑406)的方位。例如,光學元件414可以在第一方位上針對接近光學元件414的光是反射的,並且光學元件414可以在第二方位上針對接近光學元件414的光是透明的。例如,光學元件414對於以零入射角接近光學元件414的光是透明的(如圖4B中所示),並且光學元件414對於以非零入射角接近光學元件414的光是反射的(諸如如圖4A中所示的45度入射角)。
在一些實現方式中,光學元件414是塗覆在至少一側上以產生反射表面的透明材料或基板(諸如玻璃、透明塑膠等)。塗層(亦被稱為光學塗層)可以包括基於接近薄膜的光的入射角引起不同的折射角的薄膜。例如,當光學元件414關於第一光學路徑406處於第一方位時,該薄膜可以與用於來自第一光學路徑406的光的折射的臨界角相關聯,並且當光學元件414關於第一光學路徑406處於第二方位時,該薄膜可以與用於來自第一光學路徑406的光的零折射角相關聯。光學塗層可以是任何合適的材料。在一些實現方式中,光學塗層可以包括材料(諸如氧化物、金屬等)的薄層的組合。光學塗層的效能(諸如反射率、透明度、臨界角等)可以基於層的數量、每層的厚度以及層之間的折射率差。例如,可以藉由以交替方式在透明基板(諸如玻璃)上沉積介電和金屬材料的薄膜來建立光學塗層。該等材料可以在較高折射率與較低折射率之間交替。示例薄膜可以包括氟化鎂(MgF2 )、五氧化鉭(Ta2 O5 )和氧化鋁(Al2 O3 )。
基於塗層的可變折射率並且基於入射光的入射角,光學元件414可以被配置為將來自第一光學路徑406的光引導至第一圖像感測器402(如圖4A中所示),並且光學元件414可以被配置為允許來自第一光學路徑406的光穿過其到達第二圖像感測器404(如圖4B中所示)。若設備400包括耦合到第二光學路徑408的第二光圈412,則光學元件414可以在第二側上包括類似塗層。以此種方式,光學元件414可以被配置為將來自第二光學路徑408的光引導至第二圖像感測器404(如圖4A中所示),並且光學元件414可以被配置為允許來自第一光學路徑406的光穿過其到達第二圖像感測器404(如圖4B中所示)。
圖4A和圖4B示出第一光圈410和第二光圈412在設備400的不同側上。在一些實現方式中,光圈可以在設備的同一側上,諸如圖4C和圖4D中所示。圖4C圖示示例設備部分的橫截面,其示出與第一光學路徑426相關聯的第一圖像感測器422。圖4D圖示示例設備部分的橫截面,其示出與第一光學路徑426相關聯的第二圖像感測器424。設備420可以類似於設備400,除了第一光圈430在設備420的與第二光圈432相同的側面上之外。以此種方式,第一圖像感測器422可以類似於第一圖像感測器402,第二圖像感測器424可以類似於第二圖像感測器404,第一光學路徑426可以類似於第一光學路徑406,第二光學路徑428可以類似於第二光學路徑408,光學元件434可以類似於光學元件414,並且致動器436可以類似於致動器416。設備420可以包括一或多個合適的部件438,以用於在設備420中引導光。圖4A和圖4B可以示出圖3B中的設備330的示例部件配置,並且圖4C和圖4D可以示出圖3C中的設備335或者圖3D中的設備340的示例部件配置。
如本文所指出,設備可以包括用於圖像感測器共享光學路徑的多個系統。例如,設備可以包括圖4A中的部件的多個實例(或圖4C中的部件的多個實例)。圖4E圖示示例設備部分的橫截面,其示出與第一光學路徑446相關聯的第一圖像感測器442以及與第三光學路徑466相關聯的第三圖像感測器462。光學元件454可以基於光學元件454關於第一光學路徑446處於第一方位而將來自第一光學路徑446的光引導至第一圖像感測器442。光學元件474可以基於光學元件474關於第三光學路徑466處於第一方位而將來自第三光學路徑466的光引導至第三圖像感測器462。在一些實現方式中,光學元件454亦可以基於光學元件454處於第一方位而將來自第二光學路徑448的光引導至第二圖像感測器444,並且光學元件474可以基於光學元件474處於第一方位而將來自第三光學路徑466的光引導至第三圖像感測器462。比較圖4E和圖4A,部件458和478可以類似於部件418,光學元件454和474可以類似於光學元件414,並且致動器456和476可以類似於致動器416。
圖4F圖示示例設備部分的橫截面,其示出與第一光學路徑446相關聯的第二圖像感測器444以及與第三光學路徑466相關聯的第三圖像感測器462。光學元件454(關於第一光學路徑446處於第二方位)可以允許來自第一光學路徑446的光到達第二圖像感測器444,並且光學元件474(關於第三光學路徑466處於第二方位)可以允許來自第三光學路徑466的光到達第四圖像感測器464。在一些實現方式中,光學元件454亦可以允許來自第二光學路徑448的光到達第一圖像感測器442,並且光學元件474可以允許來自第四光學路徑468的光到達第三圖像感測器462。比較圖4F和圖4B,部件458和478可以類似於部件418,光學元件454和474可以類似於光學元件414,並且致動器456和476可以類似於致動器416。
在一些實現方式中,一個光學元件可以由圖像感測器442、444、462和464共享。例如,圖像感測器可以被定位為使得一個較大的光學元件可以被旋轉為以如圖4E或圖4F中所示地一般引導光。在一些其他實現方式中,第一光圈450和第二光圈452可以在設備440的同一側上,及/或第三光圈470和第四光圈472可以在設備440的同一側上。
圖5A至圖7F描繪了包括第二光圈和第二光學路徑的設備。然而,該等圖示是為了清楚地說明本揭示的態樣。如圖3A至圖4B中所示,不要求設備包括第二光圈和第二光學路徑。此外,儘管在圖5A至圖7F中圖示圖像感測器之間的共享光學路徑的一個實例,但是設備中可以包括任何數量的實例(諸如圖4E和圖4F中所示)。例如,多個光學元件可以被平移、具有所施加的電流或者以另一種方式被調節,而非旋轉圖4E中的多個光學元件。不同實例中的不同光學元件如何改變狀態可以是不同的或相同的(諸如一個正在旋轉,並且一個正在平移)。如此,本揭示(包括圖5A至圖7B中描繪的實例)不限於要求第二光圈和第二光學路徑,或者不限於共享光學路徑的多個圖像感測器的僅一個實例。
在一些實現方式中,光學元件可以在第一OE模式期間位於設備中的第一位置,並且光學元件可以在第二OE模式期間位於設備中的第二位置。設備控制器(諸如圖3A中的控制器310)被配置為當在OE模式之間進行切換時使光學元件在第一位置與第二位置之間平移。圖5A圖示示例設備500部分的橫截面,其示出當設備處於第一模式時與第一光學路徑506相關聯的第一圖像感測器502。基於光學元件514位於設備500中的第一位置,第一圖像感測器502與第一光學路徑506相關聯。圖5B圖示示例設備500部分的橫截面,其示出當設備500處於第二模式時與第一光學路徑506相關聯的第二圖像感測器504。基於光學元件514位於設備500中的第二位置,第二圖像感測器504與第一光學路徑506相關聯。
參考圖5A,光學元件514被配置為在第一OE模式期間將來自第一光學路徑506的光(經由第一光圈510接收)引導至第一圖像感測器502。若設備500包括被配置為沿著第二光學路徑508引導光的第二光圈512,則光學元件514可以被配置為在第一OE模式期間將來自第二光學路徑508的光引導至第二圖像感測器504。在一些實現方式中,光學元件514可以被構造為類似於圖4A和圖4B中的光學元件414。例如,光學元件514可以包括在一或多個側面上塗覆有薄膜以引導光的透明基板。在一些其他實現方式中,光學元件514可以包括單側鏡或雙側鏡、稜鏡或用於引導光的其他合適物件。類似於圖4A和圖4B,設備500可以包括被配置為將來自第一光學路徑506(或第二光學路徑508)的光引導至光學元件514的一或多個部件518。
光學元件514可以包括或耦合到致動器516,以在切換設備模式時將光學元件514從第一位置移動到第二位置。在一些實現方式中,致動器516包括或耦合到馬達(諸如電磁馬達或步進馬達)以移動光學元件514,並且致動器516由控制器(諸如圖3A中的控制器310)控制。例如,當從第一OE模式切換到第二OE模式時,控制器310控制致動器516以使光學元件514從第一位置(諸如圖5A中所示)移動到第二位置。在一些實現方式中,光學元件514可以是磁性的,並且致動器516包括或耦合到一或多個磁體,針對該等磁體調節磁力以吸引或排斥光學元件514。在一些其他實現方式中,致動器516可以包括或耦合到彈簧系統、滑輪系統或其他機械構件,以使光學元件514在設備500中的位置之間移動。
圖5B圖示圖5A中的設備500部分的橫截面,其中光學元件514處於設備500中的示例第二位置。在第二OE模式期間,設備500被配置為將來自第一光學路徑506的光引導至第二圖像感測器504。若設備500包括耦合到第二光學路徑508的第二光圈512,則設備500亦被配置為將來自第二光學路徑508的光引導至第一圖像感測器502。例如,光學元件514的第二位置可以被配置為使得光學元件514不在來自第一光圈510的光的路徑上,並且不在從第二光圈512接收的光的路徑上。
圖5A和圖5B示出第一光圈510和第二光圈512在設備500的不同側上。類似於圖4C和圖4D,光圈可以在設備的同一側上,諸如圖5C和圖5D中所示。圖5C圖示示例設備部分的橫截面,其示出與第一光學路徑526相關聯的第一圖像感測器522。圖5D圖示示例設備部分的橫截面,其示出與第一光學路徑526相關聯的第二圖像感測器524。設備520可以類似於設備500,除了第一光圈530在設備520的與第二光圈532相同的側面上之外。以此種方式,第一圖像感測器522可以類似於第一圖像感測器502,第二圖像感測器524可以類似於第二圖像感測器504,第一光學路徑526可以類似於第一光學路徑506,第二光學路徑528可以類似於第二光學路徑508,光學元件534可以類似於光學元件514,並且致動器536可以類似於致動器516。設備520可以包括一或多個合適的部件538,以用於在設備520中引導光。圖5A和圖5B可以示出圖3B中的設備330的示例部件配置,並且圖5C和圖5D可以示出圖3C中的設備335或圖3D中的設備340的示例部件配置。
在一些實現方式中,光學元件的透明度和反射率(或折射率)基於被施加到光學元件的電流。例如,當未向光學元件施加電流時,光學元件可以是透明的,並且當向光學元件施加電流被時,光學元件可以是反射的及/或折射的。以此種方式,光學元件可以耦合到電流源(諸如電源軌),並且電流源或用於將來自電流源的電流引導至光學元件的構件(諸如開關)可以由設備控制器(諸如圖3A中的控制器310)控制。圖6A圖示示例設備600部分的橫截面,其示出與第一光學路徑606相關聯的第一圖像感測器602。基於是否向光學元件614施加了電流,第一圖像感測器602與第一光學路徑606相關聯。圖6B圖示示例設備600部分的橫截面,其示出與第一光學路徑606相關聯的第二圖像感測器604。基於是否向光學元件614施加了電流,第二圖像感測器604與第一光學路徑606相關聯。
參考圖6A,光學元件614被配置為在第一OE模式期間將來自第一光學路徑606的光(經由第一光圈610接收)引導至第一圖像感測器602。設備600亦可以包括一或多個部件618,被配置為將光引導至第一光學路徑606/自第一光學路徑606引導光/沿著第一光學路徑606引導光。若設備600包括被配置為沿第二光學路徑608引導光的第二光圈612,則光學元件614可以被配置為在第一OE模式期間將來自第二光學路徑608的光引導至第二圖像感測器604。光學元件614可以被構造為使得光學元件614的透明度和反射率(或折射率)基於是否向光學元件614施加了電流(諸如經由可以由設備控制器(諸如圖3A中的控制器310)控制的電觸點616)。
在一些實現方式中,光學元件614可以包括可切換鏡,該可切換鏡基於所施加的電流在透明度與反射率之間進行切換(在本文被稱為可變透射率玻璃)。可變透射率玻璃的示例實現方式包括包裹有氫氣(H2 )的鎂鎳(Mg-Ni)合金。當電流被施加到Mg-Ni合金時,該合金吸收氫氣並變得透明。當從Mg-Ni合金中去除電流時,該合金驅散氫氣並變為反射的。另一個示例可變透射率玻璃包括懸浮粒子設備(SPD)。SPD可以包括懸浮在液體中的奈米級粒子。當電流被施加到SPD時,粒子以相似的方位排列/對準,以允許光通過SPD。當從SPD去除電流時,粒子不對準(諸如返回其先前的方位),並且SPD變為反射的。例如,當未施加電流時,粒子可以是反射的並且在透明液體中處於隨機方位,從而是反射的。當施加電流時,從到達SPD的光的角度看(允許光通過透明液體),粒子可以對準使得每個粒子的表面積減小或最小化。SPD可以包括被應用於透明基板(諸如玻璃)的薄膜。可變透射率玻璃的一些其他實現方式包括電致變色鏡。當向鏡施加電流的短脈衝時,電致變色鏡在透明與不透明(諸如反射)之間更改狀態。例如,電致變色鏡可以包括鋰離子,該等鋰離子在每次向鏡施加電流的短脈衝時改變方位。
儘管光學元件614被示為基於被施加到光學元件614的電流來改變狀態,但是其他示例光學元件可以基於其他刺激來切換狀態。例如,光學元件的狀態變化可以基於溫度的變化(諸如施加熱量)、磁性的變化、壓力的變化等。因此,引起光學元件的狀態變化的刺激不限於電流。
光學元件614可以包括或耦合到電觸點616以向光學元件614施加電流(以將光學元件614維持在特定狀態或使光學元件614改變狀態)。在一些實現方式中,電觸點616耦合到電源軌或其他電流源,並且電流的施加可以由源與電觸點616之間的開關控制。該開關可以由控制器(諸如圖3A中的控制器310)控制。在一些實例中,控制器310可以控制在對於第一OE模式是反射的與對於第二OE模式是透明的之間切換光學元件614。
圖6B圖示圖6A中的設備600部分的橫截面,其中光學元件614處於透明狀態。在第二OE模式期間,設備600被配置為將來自第一光學路徑606的光引導通過光學元件614,並引導至第二圖像感測器604。若設備600包括被配置為沿著第二光學路徑608引導光的第二光圈612,則設備600亦被配置為將來自第二光學路徑608的光引導通過光學元件614,並引導至第一圖像感測器602。
圖6A和圖6B示出第一光圈610和第二光圈612在設備600的不同側上。類似於圖4C和圖4D,光圈可以在設備的同一側上,諸如圖6C和圖6D中所示。圖6C圖示示例設備部分的橫截面,其示出與第一光學路徑607相關聯的第一圖像感測器603。圖6D圖示示例設備部分的橫截面,其示出與第一光學路徑607相關聯的第二圖像感測器605。設備601可以類似於設備600,除了第一光圈611在設備601的與第二光圈613相同的側面上之外。以此種方式,第一圖像感測器603可以類似於第一圖像感測器602,第二圖像感測器605可以類似於第二圖像感測器604,第一光學路徑607可以類似於第一光學路徑606,第二光學路徑609可以類似於第二光學路徑608,光學元件615可以類似於光學元件614,並且電觸點617可以類似於電觸點616。設備601可以包括一或多個合適的部件619,以用於在設備601中引導光。圖6A和圖6B可以示出圖3B中的設備330的示例部件配置,並且圖6C和圖6D可以示出圖3C中的設備335或圖3D中的設備340的示例部件配置。
圖6E至圖6H圖示用於在OE模式之間進行切換的光學元件的其他示例實現方式。在一些實現方式中,橫截面可以從設備的頂部得到。例如,橫截面可以從肖像模式下的智慧型電話的頂部得到。以此種方式,一或多個圖像感測器可以垂直於設備的前方和後方(諸如智慧型電話的前方和後方)。然而,一或多個圖像感測器可以關於該設備定位在任何合適的平面上。例如,橫截面可以是從設備的側面得到(諸如在肖像模式下的智慧型電話的側面),並且一或多個圖像感測器可以平行於設備的頂部和底部。在另一個實例中,橫截面可以從設備的前方(諸如包括顯示器的智慧型電話的前方)得到,並且一或多個圖像感測器可以平行於設備的頂部、平行於接近頂部的設備的側面,或沿著設備頂部的平面與設備的側面的平面之間的平面定向。本揭示不限於設備中的一或多個圖像感測器的特定方位。類似於圖4A至圖7F,本揭示不限於設備中的一或多個圖像感測器的特定方位。
圖6E圖示示例設備部分的橫截面,其示出與第一光學路徑656相關聯的第一圖像感測器652。第一光圈660被配置為沿著第一光學路徑656引導光,並且第二光圈662可以被配置為沿著第二光學路徑658引導光。當關於第一OE模式的第一光學路徑656處於第一方位時,光學元件664將來自第一光學路徑656的光引導至第一圖像感測器652。
在一些實現方式中,示例設備650包括由至少兩個光圈660和662共享的第一圖像感測器652。在一些其他實現方式中,第一圖像感測器652和任選的第二圖像感測器654可以共享一或多個光圈(諸如光圈660和任選的光圈662)。對於包括圖像感測器652和654以及光圈660和662的示例設備,光學元件664可以針對第一OE模式將來自第二光學路徑658的光引導至第二圖像感測器654。光學元件664可以類似於圖4A中的光學元件414。
在第一OE模式與第二OE模式之間進行切換時,致動器666可以關於第一光學路徑656使光學元件664旋轉到第二方位。致動器666可以類似於圖4A中的致動器416,除了致動器666使光學元件664沿著朝向光學元件664的中心的軸線(而不是朝向光學元件的一端的軸線)旋轉。圖6F圖示示例設備部分的橫截面,其示出與第二光學路徑658相關聯的第一圖像感測器652。若設備650包括第二光圈662,則光學元件664在用於第二OE模式的第二方位中被配置為將來自第二光學路徑658的光引導至第一圖像感測器652。若設備650包括第二圖像感測器654,則光學元件664可以在用於第二OE模式的第二方位中被配置為將來自第一光學路徑656的光引導至第二圖像感測器654。在一些其他實現方式中,光學元件可以是稜鏡或者被移動或旋轉以在OE模式之間進行切換的其他物件。
在一些實現方式中,光學元件可以是稜鏡或被配置為基於被施加到光學元件的刺激來引導光的其他結構,而非旋轉光學元件。圖6G圖示示例設備部分的橫截面,其示出與第一光學路徑676相關聯的第一圖像感測器672。設備670可以類似於圖6E中的設備650,除了所使用的光學元件的類型之外。以此種方式,第一圖像感測器672可以類似於第一圖像感測器652,任選的第二圖像感測器674可以類似於任選的第二圖像感測器654,第一光學路徑676可以類似於第一光學路徑656,任選的第二光學路徑678可以類似於任選的第二光學路徑658,第一光圈680可以類似於第一光圈660,並且任選的第二光圈682可以類似於任選的第二光圈662。
儘管光學元件686被示為基於經由電觸點688和電觸點690施加電流來改變狀態,但是可以使用任何合適的刺激並且可以以任何方式施加。在一些實現方式中,當經由電觸點688施加電流時,光學元件686的第一部分包括具有第一方位的第一分子集,並且當經由電觸點690施加電流時,光學元件686的第二部分包括具有第一方位的第二分子集。儘管示出兩個電觸點,但是可以使用任何合適的數量(諸如一或多個電觸點)。當第一分子集和第二分子集處於第一方位時,光學元件686可以被配置為引導光,如圖6G中所示。當未施加電流時,第一分子集和第二分子集亦可以具有第二方位。以此種方式,當第一分子集和第二分子集處於第二方位時,光學元件686可以被配置為引導光,如圖6H中所示。圖6H圖示圖6G中的示例設備部分的橫截面,其示出與第一光學路徑676相關聯的第二圖像感測器674。
在一些其他實現方式中,光學元件686可以包括被組合在一起的兩個或兩個以上光學元件的分離部件。例如,光學元件686的第一部分可以類似於圖6A中的光學元件614。可以基於經由電觸點688施加的電流來控制第一部分。光學元件686的第二部分可以類似於旋轉90度的光學元件614。可以基於經由電觸點690施加的電流來控制第二部分。以此種方式,在OE模式之間進行切換可以包括針對第一OE模式來經由觸點688提供電流且不經由觸點690提供電流與針對第二OE模式來不經由觸點688提供電流且經由觸點690提供電流之間進行切換。
儘管在旋轉光學元件、移動光學元件或向光學元件施加電流(或其他刺激)的實例中圖示對光學元件的調節,但是可以執行示例調節的任何組合(或用於調節光學元件(諸如施加熱量)的其他合適構件)。例如,設備可以被配置為適當地平移和旋轉光學元件。在另一個實例中,設備可以被配置為旋轉光學元件並且向光學元件施加電流。在一些實現方式中,光學元件可以被配置為基於光學元件的調節構件的組合來服務兩個以上的光學路徑或兩個圖像感測器。
如本文所指出,第一圖像感測器可以耦合到第一組一或多個透鏡,或者第二圖像感測器可以耦合到第二組一或多個透鏡。第一組或第二組可以被配置為使得第一圖像感測器與和第二圖像感測器不同的FOV、光學因數或景深相關聯。在圖7A至圖7F中所示的實例中描繪了與一或多個透鏡相關聯的第一圖像感測器或第二圖像感測器。圖7A至圖7F中描繪的以下實例示出旋轉的光學元件(類似於圖4A和圖4B)。然而,對光學元件的調節為對光學元件的旋轉是用於在解釋本揭示的態樣時進行清楚說明的目的。若將調節光學元件,則可以以任何合適的方式(包括旋轉、移動或基於刺激來改變狀態)來調節光學元件。
如本文所指出,第一圖像感測器可以與第一FOV、第一光學縮放或第一景深相關聯,並且第二圖像感測器可以與第二FOV、第二光學縮放或第二景深相關聯。在一些實現方式中,第一圖像感測器可以被佈置為接收光,該光傳播通過一或多個透鏡以實現關聯FOV、光學縮放或景深。在一些實現方式中,第二圖像感測器可以被佈置為接收光,該光傳播通過一或多個透鏡以實現關聯FOV、光學縮放或景深。在一些其他實現方式中,第二圖像感測器可以被配置用於關聯FOV、光學縮放或景深,而無需使用一或多個透鏡。
圖7A圖示示例設備700部分的橫截面,其示出與一或多個透鏡720相關聯的第一圖像感測器702。一或多個透鏡720可以將光引導朝向第一圖像感測器702,並且調節FOV、縮放因數或景深以用於圖像擷取。在一些實現方式中,設備700亦可以包括與第二圖像感測器704相關聯的一或多個透鏡718。一或多個透鏡722可以將光引導朝向第二圖像感測器704,並且調節FOV、縮放因數或景深以用於圖像擷取。一或多個透鏡720(以及任選地,一或多個透鏡718)可以以任何合適的方式被配置為將所接收的光引導至第一圖像感測器702(或引導至第二圖像感測器704)。若設備700是智慧型電話並且第一光圈710是面向前方的(諸如與智慧型電話的顯示器重合),則智慧型電話可以被配置為基於設備模式來擷取具有不同特性(諸如不同FOV、縮放因數或景深)的自拍圖像。若智慧型電話包括第二光圈712作為面向後方的光圈,則智慧型電話可以被配置為基於設備模式來擷取具有不同特性(諸如不同FOV、縮放因數或景深)的圖像(諸如組圖像、風景場景的圖像等)。設備700的其他部件(包括第一光學路徑706、第二光學路徑708和部件718)可以類似於圖4A至圖4B中所示的相似部件。
在一些實現方式中,與圖像感測器相關聯的一或多個透鏡可以是關於圖像感測器可移動的。以此種方式,可以基於移動一或多個透鏡來調節FOV、縮放因數或景深。圖7B圖示示例設備730部分的橫截面,其示出與可移動透鏡749相關聯的第二圖像感測器734。在一些實現方式中,可移動透鏡包括一或多個透鏡。一或多個透鏡可以用於聚焦或縮放目的,或用於其他合適的目的(諸如調節FOV)。若設備730是智慧型電話(或具有類似比例的設備),則智慧型電話可以實現第一光圈740與第二圖像感測器734之間的較長距離,若該距離的至少一部分平行於智慧型電話的顯示器的話。以此種方式,設備730可以包括光學系統,以關於第二圖像感測器734(或關於一或多個透鏡中的另一個透鏡)移動一或多個透鏡。儘管圖7B中描繪的實例圖示一個透鏡749,該透鏡749可以包括任何數量的透鏡以及使透鏡關於彼此或關於第二圖像感測器734移動的構件。
設備730包括致動器747,以移動透鏡749。移動透鏡749可以用於第二圖像感測器734的聚焦操作,或者用於調節第二圖像感測器734的縮放因數。儘管未圖示,但是第一圖像感測器732亦可以與一或多個可移動透鏡相關聯。如圖所示,當設備730被配置為使用第二圖像感測器734以用於針對從第二光圈742接收的光進行圖像擷取時(諸如在第一OE模式下),可以關於第二圖像感測器734調節透鏡749的位置。當設備730被配置為使用第二圖像感測器734以用於針對從第一光圈740接收的光進行圖像擷取時(諸如在第二OE模式下),亦可以發生對透鏡749的位置的調節。在一些實現方式中,設備控制器(諸如圖3A中的控制器310)被配置為控制致動器747。致動器747可以基於機械力、電力、磁力或其他合適的力來移動透鏡749。例如,致動器747可以使透鏡749沿著引導件以遠離第二圖像感測器734的不同位置移動。以此種方式,控制器310可以控制透鏡749的位置。
在一些實現方式中,第二圖像感測器可以關於一或多個透鏡移動。圖7C圖示示例設備750部分的橫截面,其示出關於透鏡769可移動的第二圖像感測器754。儘管透鏡769被示為不關於設備750移動,但是透鏡769亦可以是可移動的。設備750可以類似於圖7B中的設備730,除了第二圖像感測器754是可移動的之外。在一些實現方式中,可以類似於如何移動透鏡749(圖7B)一般來移動第二圖像感測器754。例如,第二圖像感測器754可以耦合到致動器767,並且該致動器可以被配置為移動第二圖像感測器754(諸如經由機械力、電力、磁力或其他合適的力)。以此種方式,可以調節與第二圖像感測器754相關聯的FOV、縮放因數或景深。
圖7A至圖7C示出第一光圈和第二光圈在設備的不同側上。然而,光圈可以在設備的同一側上,諸如分別在圖7D至圖7F中所示。圖7D圖示示例設備701部分的橫截面,其示出與第一光學路徑707相關聯的第一圖像感測器703。設備701可以類似於圖7A中的設備700,除了光圈711和713在設備的同一側上之外。圖7E圖示示例設備731部分的橫截面,其示出與第一光學路徑737相關聯的第一圖像感測器733。設備731可以類似於圖7B中的設備730,除了光圈741和743在設備的同一側上之外。圖7F圖示示例設備770部分的橫截面,其示出與第一光學路徑776相關聯的第一圖像感測器772。設備770可以類似於圖7C中的設備750,除了光圈780和782在設備的同一側上之外。圖7A至圖7C可以示出圖3B中的設備330的示例部件配置,並且圖7D至圖7F可以示出圖3C中的設備335或圖3D中的設備340的示例部件配置。
返回參考圖3E和圖3F,設備處於第一模式還是第二模式可以基於閾值縮放因數或閾值FOV。若設備被配置為移動一或多個透鏡或圖像感測器(諸如圖7B、圖7C、圖7E和圖7F中描繪的),則設備可以藉由移動一或多個透鏡或者圖像感測器以增量方式調節光學縮放或FOV。當一或多個透鏡或者圖像感測器達到最大移動量時,設備可以切換模式以使用另一個圖像感測器。例如,返回參考圖7F,第二圖像感測器774可以基於移動圖像感測器而與從1x至5x的光學縮放相關聯,並且第一圖像感測器772可以與0x光學縮放相關聯。若當前縮放因數被設置為5x(諸如滑塊在圖3F中的選擇工具353中一直向右),則設備770可以被配置為使用第二圖像感測器774以用於圖像擷取。使用者可以減小縮放因數(諸如藉由按下W或向左移動滑塊)。隨著縮放因數減小,設備770移動第二圖像感測器774,直到第二圖像感測器774達到極限(與1x光學縮放相關聯)。若使用者繼續將縮放因數減小到小於1x,則設備770可以切換設備模式並使用與0x光學縮放相關聯的第一圖像感測器772。在一些實現方式中,可以執行對來自第一圖像感測器772的圖像的數位處理以模擬正在減小的縮放因數。若設備顯示預覽(諸如在減小縮放因數時從關於圖3F中底部的預覽到關於圖3F的頂部的預覽),則預覽可以顯示縮放因數逐漸減小。
若設備模式基於閾值FOV、縮放因數或景深,則閾值可以基於移動一或多個透鏡及/或圖像感測器的實體限制。在以上實例中,閾值縮放因數可以是1x,其中第二圖像感測器774用於大於閾值的縮放因數,並且第一圖像感測器772用於小於閾值的縮放因數。若一或多個透鏡和圖像感測器是固定的,則閾值可以基於來自圖像感測器的圖像的數位處理要求、圖像感測器的解析度或其他圖像擷取特性。
如所描述的,設備可以被配置為針對基於不同FOV的圖像、基於不同縮放的圖像、基於不同景深的圖像或針對設備模式之間的圖像擷取的其他合適差異來使用單個光圈。在實例中,兩個或兩個以上圖像感測器可以在設備中共享第一光學路徑(和關聯光圈)。在一些實例中,兩個或兩個以上圖像感測器可以在設備中共享第二光學路徑(和關聯光圈)。如何共享光學路徑可以基於光學元件(諸如光學元件處於第一OE模式還是第二OE模式)。
圖8A圖示描繪第一圖像感測器和第二圖像感測器共享第一光學路徑的示例操作800的說明性流程圖。第一圖像感測器、第二圖像感測器和第一光學路徑可以如圖3A至圖7F中描繪一般(或者以其他方式描述一般)。為了清楚起見,操作800和其他操作(諸如圖9中的操作900)被描述為如由圖3A中的設備300執行一般,但是其可以應用於任何合適的設備或設備配置。
在802處,第一光圈320將光引導至設備300中的第一光學路徑301。在判定方塊804處,若設備300的光學元件304處於第一OE模式,則操作800進行到步驟806。例如,光學元件304可以處於第一方位、第一位置、具有所施加的電流或其他刺激等。若光學元件304不處於第一OE模式(諸如光學元件304處於第二方位、第二位置、不具有所施加的電流或其他刺激等),則操作800進行到步驟810。參考步驟806,光學元件304將來自第一光學路徑301的光引導至第一圖像感測器302。例如,光學元件304可以基於光學元件304的方位、光學元件304的位置、光學元件304的狀態(基於被施加到光學元件304的電流)等將來自第一光學路徑301的光反射或折射到第一圖像感測器302。在808處,第一圖像感測器302從自第一光學路徑301接收的光擷取第一圖像。
參考步驟810,設備300將來自第一光學路徑301的光引導至第二圖像感測器303。例如,光學元件304可以不阻擋來自第一光學路徑301的光以允許光到達第二圖像感測器303。在另一個實例中,光學元件304可以具有方位或處於基於刺激(諸如電流)的狀態,以允許來自第一光學路徑301的光穿過光學元件304並到達第二圖像感測器303。在812處,第二圖像感測器303從自第一光學路徑301接收的光擷取第二圖像。如本文所指出,控制器310可以被配置為調節光學元件304,以針對示例操作800在OE模式之間進行切換。
設備300亦可以包括耦合到附加光學路徑的附加光圈。例如,如圖3A中所示,設備300可以包括被配置為沿著第二光學路徑324引導光的第二光圈322。光學元件304可以被配置為將來自第二光學路徑324的光引導至第一圖像感測器302或第二圖像感測器303,以用於圖像擷取。
圖8B圖示描繪第一圖像感測器302和第二圖像感測器303亦共享第二光學路徑324的示例操作820的說明性流程圖。示例操作820可以與圖8A中的示例操作800互補(諸如與圖8A中的示例操作800同時執行)。在822處,第二光圈322將光引導至設備300中的第二光學路徑324。在判定方塊824處,若光學元件304處於第一OE模式,則操作820進行到步驟826。若光學元件304不處於第一OE模式(諸如光學元件304處於第二方位、第二位置等),則操作820進行到步驟830。參考步驟826,光學元件304將來自第二光學路徑324的光引導至第二圖像感測器303。例如,光學元件304可以基於光學元件304的方位、光學元件304的位置、光學元件304的狀態(基於被施加到光學元件304的電流)等將來自第二光學路徑324的光反射到第二圖像感測器303。在828處,第二圖像感測器303從自第二光學路徑324接收的光擷取第三圖像。
參考步驟830,設備300將來自第二光學路徑324的光引導至第一圖像感測器302。例如,光學元件304可以處於不阻擋來自第二光學路徑324的光以允許光到達第一圖像感測器302。在另一個實例中,光學元件304具有方位或處於基於刺激(諸如電流)的狀態,以允許來自第二光學路徑324的光穿過光學元件304並到達第一圖像感測器302。在832處,第一圖像感測器302從自第二光學路徑324接收的光擷取第四圖像。如本文所指出,控制器310可以被配置為調節光學元件304,以針對示例操作820在OE模式之間進行切換。
圖9A圖示描繪用於圖像擷取的示例操作900的說明性流程圖。在902處,設備300辨識該設備將處於第一設備模式還是第二設備模式。例如,控制器310決定第一圖像感測器302還是第二圖像感測器303將被用於圖像擷取。在一些實現方式中,控制器310可以基於使用者輸入來決定設備模式(904)。例如,使用者可以經由顯示器314使用GUI來指示設備300將處於第二設備模式(諸如指示將使用第二圖像感測器)。在一些其他實現方式中,控制器310可以基於FOV(906)、縮放因數(908)或景深(910)中的一或多個來決定設備模式。例如,使用者可以指示期望的FOV、縮放因數或景深,並且設備300可以將期望的FOV、縮放因數或景深與和第一圖像感測器相關聯的FOV、縮放因數或景深進行比較,並且與和第二圖像感測器相關聯的FOV、縮放因數或景深進行比較。隨後,設備300可以基於該比較來選擇第一圖像感測器或第二圖像感測器。例如,閾值縮放因數可以用於決定設備300將處於第一設備模式還是第二設備模式。若將被擷取的圖像與小於閾值的縮放因數相關聯,則設備300可以決定設備300將處於第一設備模式。若將被擷取的圖像與大於閾值的縮放因數相關聯,則設備300可以決定設備300將處於第二設備模式。
在一些實現方式中,控制器310可以基於設備300的狀態來決定設備模式(911)。例如,第一圖像感測器302可以是較低功率圖像感測器,並且第二圖像感測器303可以是較高功率圖像感測器。當設備300具有鎖定(或關閉)的顯示器314時(諸如處於低功率狀態、鎖定狀態等),設備300可以被配置為使用第一圖像感測器302執行物件偵測,以決定面部是否可能正在進入使用第二圖像感測器303的臉孔辨識的視場。以此種方式,當處於低功率狀態時,控制器310可以決定設備300處於第一設備模式(以偵測進入視場的物件)。當偵測到物件時,控制器310可以將設備300切換到第二設備模式,以使用第二圖像感測器303執行臉孔辨識。
在912處,設備300可以基於所辨識的設備模式來控制光學元件304。例如,控制器310可以決定是否將調節光學元件304以使得光學元件304將來自共享光學路徑的光引導至與所辨識的設備模式相關聯的圖像感測器。若將調節光學元件304,則控制器310可以指示一或多個部件來調節光學元件304。在一些實現方式中,光學元件304在第一OE模式下將來自第一光圈320的光(其可以沿著第一光學路徑301傳播)引導至第一圖像感測器302(914)。另外或替代地,光學元件304可以在第二OE模式下將來自第一光圈320的光引導至第二圖像感測器303(916)。若設備300包括第二光圈322以將光引導至由第一圖像感測器302和第二圖像感測器303共享的第二光學路徑324,則光學元件304可以在第一OE模式下將來自第二光圈322的光引導至第二圖像感測器303,並且光學元件304可以在第二OE模式下將來自第二光圈322的光引導至第一圖像感測器302。
在一些實現方式中,OE模式可以基於來自圖像感測器的光資訊。若第一圖像感測器302是用於物件偵測的較低功率圖像感測器,並且第二圖像感測器303是用於臉孔辨識的較高功率圖像感測器,則控制器310可以首先控制OE模式,以將來自期望光圈的光引導至第一圖像感測器302以用於物件偵測(在第一設備模式期間)。當控制器310從來自第一圖像感測器302的圖像決定面部可能已經進入視場時,控制器310可以切換OE模式,以將來自期望光圈的光引導至第二圖像感測器303以用於臉孔辨識(在第二設備模式期間)。在一些實現方式中,OE模式亦可以基於來自一或多個感測器326的量測(諸如來自磁力計的方位量測或來自其他感測器的其他合適量測)。
圖9B圖示描繪用於控制光學元件304的示例操作920的說明性流程圖。操作920可以是圖9A中的912的示例實現方式。在922處,設備300基於所辨識的設備模式來辨識光學元件304處於第一OE模式還是處於第二OE模式。例如,控制器310可以基於哪個圖像感測器將被用於圖像擷取來決定光學元件304是否將來自第一光學路徑301的光引導至第一圖像感測器302或第二圖像感測器303。在一些實現方式中,控制器310基於將使用哪個光圈來辨識OE模式(924)。例如,若第一光圈320在智慧型電話的前側上,第二光圈322在智慧型電話的後側(與前側相對)上,並且智慧型電話前側朝上放在桌子上,則控制器310可以決定將使用第一光圈320(諸如基於來自第一圖像感測器302或第二圖像感測器303所擷取的圖像的光資訊,基於來自一或多個感測器326的方位量測等)。
另外或替代地,控制器310可以基於成像應用辨識OE模式(926)。例如,若設備300處於具有鎖定螢幕的低功率模式,則成像應用可以是使用較低功率圖像感測器的物件偵測(在第一設備模式期間)和使用較高功率圖像感測器的臉孔辨識(在第二設備模式期間)。OE模式因此可以基於在物件偵測期間將來自期望光圈的光引導至第一圖像感測器302並且在臉孔辨識期間將來自期望光圈的光引導至第二圖像感測器303。在另一個實例中,當設備300處於單個設備模式時,OE模式可以改變。例如,OE模式可以在使用第一圖像感測器302以用於三維成像時進行切換(諸如交替)。以此種方式,可以當設備300處於特定設備模式時多次執行操作920。因此,可以基於成像應用來辨識OE模式(包括在設備模式期間OE模式是否改變)。對於所決定的OE模式,控制器310可以決定光學元件304將處於哪種狀態。例如,控制器310可以決定光學元件304將處於第一方位還是第二方位(經由旋轉)、第一位置還是第二位置(經由平移運動),或者第一材料狀態還是第二材料狀態(經由施加刺激,諸如電流、熱量等)。
在一些實現方式中,控制器310可從移動、旋轉或向光學元件304施加刺激的一或多個部件接收回饋,以決定光學元件304的當前狀態。在一些其他實現方式中,控制器310可以基於光學元件304的先前指令或控制來決定當前OE模式,以將光學元件304置於特定OE模式。例如,控制器310或另一個合適部件可以基於控制器針對光學元件304的指令或對光學元件304的控制來儲存當前OE模式。以此種方式,控制器310可以將當前OE模式與所辨識的OE模式進行比較,以決定光學元件304是否將改變OE模式或者以其他方式被調節。
在928處,設備300可以基於所辨識的OE模式來調節光學元件304。在一些實現方式中,若控制器310決定當前OE模式與所辨識的OE模式之間存在差異,則控制器310可以控制光學元件304,以將光學元件304置於所辨識的OE模式。例如,設備300可以旋轉光學元件304(930)。以此種方式,控制器310可以指示或控制致動器以旋轉光學元件304。在另一個實例中,設備300可以平移光學元件(932)。以此種方式,控制器310可以指示或控制致動器以向光學元件304施加實體力、磁力或其他合適的力,以將光學元件304平移到另一個位置。在另一個實例中,設備300可以向光學元件304施加刺激(這可以包括去除或調節其水平)(934)。一種刺激可以是被施加到光學元件304的電流(936)。例如,控制器310可以控制開關,以將電流從電源軌傳遞到光學元件或者從電源軌去除電流。在另一個實例中,控制器310可以控制被施加到光學元件的電流水平,並且光學元件304的一或多個性質可以基於電流水平。例如,折射率、反射率或透明度可以基於被施加到光學元件304的電流的變化而改變。
當設備300處於第一設備模式時,第一圖像感測器302可以擷取一或多個圖像(諸如視訊的一系列圖像)以用於處理。當設備300處於第二設備模式時,第二圖像感測器303可以擷取一或多個圖像(諸如視訊的一系列圖像)以用於處理。設備300中的圖像信號處理器312或圖像處理管線的其他部分可以處理一或多個圖像以產生最終圖像或視訊(諸如應用一或多個圖像處理濾波器、對視訊的圖像序列進行編碼等)。如本文所指出,設備模式可以在視訊擷取期間改變(諸如當調節視訊的FOV、縮放因數或景深時)。以此種方式,圖像信號處理器312(和其他部件)可以處理來自第一圖像感測器302的第一組圖像,並且處理來自第二圖像感測器303的第二組圖像。第一組圖像和第二組圖像可以被一起編碼以產生視訊。
如上所指出,可以基於來自一或多個設備感測器的資訊來控制光學元件。例如,控制器310可以基於設備300的方位(諸如根據來自磁力計的方位量測、來自第一圖像感測器302的光強度量測及/或其他合適的量測所決定的)來控制OE模式。圖9C圖示描繪用於基於設備方位來控制光學元件304的示例操作950的說明性流程圖。可以使用一或多個設備感測器來決定設備方位。設備300的設備感測器可以包括一或多個感測器326(諸如方位感測器,其可以包括陀螺儀或磁力計)、第一圖像感測器302、第二圖像感測器303或設備300的任何其他合適的感測器。操作950可以是圖9B中的步驟924的示例實現方式。對於步驟924(圖9B),控制器310可以基於哪個光圈將被用於圖像擷取來辨識OE模式。
在圖9C中的952處,控制器310決定設備300的方位。在一些實現方式中,控制器310基於來自圖像感測器的一或多個圖像的光強度資訊來決定設備方位(954)。例如,若設備300處於第一OE模式以使得來自第一光圈320的光被引導至第一圖像感測器302,並且設備300被設置在表面上或以其他方式被定向為使得阻擋第一光圈320接收來自場景的光,則控制器310可以決定設備300的方位是使得第一光圈320向下指向表面。若第二光圈322在設備300的與第一光圈320不同的側面上,則第二光圈322可以是基於光強度資訊的期望光圈。另外或替代地,控制器310可以基於來自一或多個方位感測器的量測來決定設備方位(956)。例如,磁力計或陀螺儀可以向控制器310提供指示設備300的方位的量測。該方位可以指示第一光圈320指向下(諸如朝向其中設備300所在的表面)。若第二光圈322在設備300的與第一光圈320不同的側面上,則第二光圈322可以是基於方位量測的期望光圈。
在958處,控制器310基於設備300的方位來決定使用哪個光圈。例如,若設備300是其中第一光圈320在前側上並且第二光圈322在後側上的智慧型電話,則將使用哪個光圈可以基於當智慧型電話處於表面(諸如桌子或椅子)上時哪個側面向上。若設備300前側向下/朝向表面定向,則控制器310可以將第二光圈322辨識為將使用的光圈(其中第一光圈320指向表面)。若設備300後側向下/朝向表面定向,則控制器310可以將第一光圈320辨識為將使用的光圈(其中第二光圈322指向表面)。
在960處,控制器310基於所辨識的光圈來辨識OE模式。例如,若顯示器314被鎖定,則設備300可以使用第一圖像感測器302(其可以是較低功率圖像感測器,諸如AO圖像感測器)執行物件偵測。若設備300被辨識為前側向上定向,則設備300可以決定將使用第一光圈320。由於將使用第一光圈320和第一圖像感測器302,因此控制器310可以為第一光圈320辨識第一OE模式,以將光引導朝向第一圖像感測器302。當設備300將使用第二圖像感測器303執行臉孔辨識時,設備300可以為第一光圈320辨識第二OE模式,以將光引導朝向第二圖像感測器303。以此種方式,設備300可以控制光學元件304,以用於在不同設備模式期間進行的圖像擷取。
可調節光學元件的態樣亦可以用於發射器。在一些實現方式中,設備可以被配置用於活動深度感測。例如,設備可以包括一或多個發射器,以發射用於活動深度感測的光。活動深度感測可以用於以下操作,包括用於攝像機的鐳射自動聚焦、用於螢幕解鎖的臉孔辨識、測距、深度映射(諸如用於虛擬實境或增強現實應用)等。在一些實現方式中,發射器可以由多個光圈共享。以此種方式,可以藉由光學元件將來自發射器的發射引導出第一光圈或第二光圈。相反,光圈可以由第一發射器和第二發射器共享(諸如用於不同的活動深度感測技術),或者光圈可以由用於活動深度感測的發射器或者接收器(諸如圖像感測器)共享。例如,設備可以被配置為執行不同的活動深度感測技術(包括結構化的光深度感測或飛行時間深度感測),或者設備可以被配置為執行活動深度感測和使用共享光圈的圖像擷取的組合。圖10至圖17描繪了用於被配置為執行一或多個活動深度感測技術的設備的示例設備配置和操作。
圖10圖示包括用於活動深度感測的第一發射器1002的示例設備1000的方塊圖。示例設備1000中的部件的至少一部分可以類似於圖3A中的示例設備300中的部件。例如,示例設備1000可以包括處理器1005(其可以包括被配置為控制光學元件1004的控制器1010)。設備1000亦可以包括儲存指令1008的記憶體1006、任選的顯示器1014、一或多個任選I/O部件1016以及電源供應器1018。處理器1005、記憶體1006、控制器1010、顯示器1014、I/O部件1016和電源供應器1018可以類似於圖3A中描繪的處理器305、記憶體306、控制器310、顯示器314、I/O部件316和電源供應器318。設備1000亦可以包括圖10中未圖示的其他部件,類似於圖3A中的設備300。例如,設備1000可以包括一或多個感測器(諸如方位或運動感測器、定位感測器、溫度感測器等)。
設備1000可以包括沿著第一光學路徑1001引導光或從第一光學路徑1001接收光的第一光圈1020。設備1000亦可以包括沿著第二光學路徑1024引導光或從第二光學路徑1024接收光的第二光圈1022。在一些實現方式中,第一發射器1002由第一光圈1020和第二光圈1022共享。例如,設備1000包括光學元件1004。光學元件1004被配置為當光學元件1004處於第一OE模式時將來自第一發射器1002的光引導至第一光學路徑1001。當光學元件1004處於第二OE模式時,來自第一發射器1002的光沿著第二光學路徑1024傳播。
在一些實現方式中,設備1000包括圖像感測器或第二發射器1003。利用圖像感測器或第二發射器1003,設備1000可以被配置為處於第一設備模式(使用第一發射器1002)或第二設備模式(使用圖像感測器或第二發射器1003)。例如,若設備1000包括圖像感測器,則第一設備模式可以是使用第一發射器1002的活動深度感測模式,並且第二設備模式可以是使用圖像感測器的圖像擷取模式。
在一些實現方式中,圖像感測器可以是較低功率圖像感測器(諸如以上參考圖3A所描述的)。例如,較低功率圖像感測器可以是將在設備的不同操作狀態下使用(諸如用於物件偵測)的AO圖像感測器。例如,設備1000可以被配置為執行用於臉孔辨識(諸如用於螢幕解鎖)的活動深度感測。第一發射器1002可以發射用於活動深度感測的光分佈,並且臉孔辨識可以在第一設備模式期間被執行。較低功率圖像感測器可以量測場景的不同區域中的光強度,以用於物件偵測(諸如以偵測可能的面部是否移動到圖像感測器的視場的中心)。可以在第二設備模式期間執行物件偵測。以此種方式,單個光圈可以在第二設備模式期間用於使用圖像感測器的物件偵測,並且可以在第一設備模式期間用於使用第一發射器1002基於活動深度感測的臉孔辨識。如以上關於圖3A和圖9C所描述的,將被使用的光圈可以基於設備1000的方位,該方位可以是根據來自一或多個感測器的量測或圖像感測器所擷取的光強度資訊決定的。
在另一個實例中,若設備1000包括第二發射器,則第一設備模式可以是使用第一發射器1002的第一活動深度感測模式,並且第二設備模式可以是使用第二發射器1003的第二活動深度感測模式。在另一個實例中,若第二(或第一)發射器是泛光照明器,則設備模式中的一個可以是手電筒模式。第一發射器1002(以及任選地,第二發射器1003)可以被配置為發射決定波長的光(諸如IR光或另一個合適波長的光)。在一些其他實現方式中,可以發射具有一定波長範圍的光。
對於圖像感測器,當光學元件1004處於第一OE模式時,光學元件1004可以將沿著第二光學路徑1024傳播的光引導至圖像感測器。當光學元件1004處於第二OE模式時,光學元件1004可以將沿著第一光學路徑1001傳播的光引導至圖像感測器。對於第二發射器,當光學元件1004處於第一OE模式時,光學元件1004可以將來自第二發射器的光引導至第二光學路徑1024。當光學元件1004處於第二OE模式時,光學元件1004可將來自第二發射器的光引導至第一光學路徑1001。
儘管未圖示,但是設備1000可以包括用於活動深度感測的一或多個接收器。在一些實現方式中,設備1000可以包括一或多個接收器,該一或多個接收器被配置為在第一設備模式期間接收由第一發射器1002發射的光的反射。一或多個接收器亦可以被配置為在第二設備模式期間接收由第二發射器1003發射的光的反射。例如,一或多個接收器可以包括IR圖像感測器(或其他合適的圖像感測器),以擷取由第一發射器1002發射的IR光(或另一個合適的波長)的反射。在一些其他實現方式中,用於活動深度感測的一或多個接收器可以在設備1000的外部。以此種方式,設備1000可以用作活動深度感測系統的發射器。
記憶體1006可以是儲存電腦可執行指令1008以執行本揭示中描述的一或多個操作的全部或一部分(諸如用於調節光學元件的位置)的非暫態性或非暫時性電腦可讀取媒體。若活動深度感測包括結構化的光深度感測,則記憶體1006亦可以包括用於處理來自活動深度感測接收器的圖像的編碼字元庫,以便決定場景中的物件的一或多個深度。
處理器1005可以是能夠執行儲存在記憶體1006內的一或多個軟體程式的腳本或指令(諸如指令1008)的一或多個合適的處理器(諸如通用處理器)。例如,處理器1005可以是應用處理器,並且執行活動深度感測應用(諸如用於螢幕解鎖、鐳射自動聚焦等)。在附加或替代的態樣中,處理器1005可以包括積體電路或其他硬體,以執行本揭示中描述的功能或操作。
處理器1005包括控制器1010。若設備1000包括圖像感測器或第二發射器1003,則控制器1010可以被配置為選擇將被使用的發射器(或圖像感測器)。控制器1010亦被配置為控制光學元件1004(諸如在第一OE模式與第二OE模式之間進行切換)。在一些實現方式中,控制器1010可以被配置為調節光學元件304的位置(諸如藉由旋轉或平移光學元件1004)。例如,當在OE模式之間進行切換時,控制器1010可以指示致動器平移光學元件1004。在另一個實例中,當在OE模式之間進行切換時,控制器1010可以指示致動器旋轉光學元件1004。
在一些其他實現方式中,控制器1010可以被配置為調節光學元件1004的狀態(諸如藉由施加電流或其他刺激)。光學元件的狀態可以包括基於刺激的光學元件1004的反射率或透明度(或折射率)。例如,對於第一OE模式,控制器1010可以使電流不被施加到光學元件1004,並且對於第二OE模式,可以使電流施加到光學元件1004。
與圖3A中的控制器310類似,控制器1010可以根據來自一或多個方位感測器的量測或來自圖像感測器的光強度量測(諸如當顯示器1014被鎖定或者設備1000處於低功率狀態或非活動狀態時,根據來自較低功率圖像感測器的量測)來決定設備1000的方位。控制器1010決定設備模式或OE模式可以基於設備1000的方位。設備模式或OE模式亦可以基於設備狀態。
控制器1010可以以軟體(諸如儲存在記憶體1006中的指令1008中)、硬體(諸如一或多個積體電路),或兩者的組合來實現。在一些其他設備實現方式中,控制器1010可以在與處理器1005或專用硬體分離的處理器中體現。例如,個別處理器可以包括控制器1010和圖像信號處理器1012。個別處理器可以包括一或多個特殊應用積體電路(ASIC)及/或一或多個通用處理器。個別處理器可以被配置為執行與圖像擷取、活動深度感測、電腦視覺(諸如虛擬實境(VR)、增強現實(AR)或立體視覺)等相關聯的操作,其中針對該操作使用第一發射器1002或圖像感測器或第二發射器1003。
儘管在示例設備1000中被示為經由處理器1005彼此耦合,但是處理器1005、記憶體1006、圖像信號處理器1012、任選的顯示器1014和任選的I/O部件1016可以以各種佈置彼此耦合。例如,處理器1005、記憶體1006、圖像信號處理器1012、任選的顯示器1014和任選的I/O部件1016可以經由一或多個區域匯流排(為簡單起見未圖示)彼此耦合。
圖像信號處理器1012可以被配置為處理從圖像感測器1003擷取的圖像。在一些實現方式中,圖像信號處理器1012包括圖像處理管線的一或多個濾波器,並且濾波器可以是基於來自處理器1005的指令來配置的。若圖像來自圖像感測器1003或用於深度映射,則圖像信號處理器1012可以被配置用於處理圖像以決定一或多個深度。例如,圖像信號處理器1012可以使用編碼字元庫來辨識圖像中的編碼字元,以用於結構化的光深度感測。
在一些態樣中,圖像信號處理器1012可以執行來自記憶體的指令(諸如來自記憶體1006的指令1008或者被儲存在耦合到或包括在圖像信號處理器1012中的單獨記憶體中的指令)。在一些其他態樣中,圖像信號處理器1012可以包括特定硬體以執行本揭示中描述的一或多個操作。在一些其他態樣中,圖像信號處理器1012可以包括特定硬體和能力的組合以執行軟體指令。在一些實現方式中,若設備1000不包括圖像感測器1003(諸如替代地包括第二發射器1003),則設備1000可以不包括圖像信號處理器1012。
與圖3A中描繪的光學元件304類似,可以以某種方式調節光學元件1004以在設備1000的模式之間進行切換。例如,光學元件1004可以包括反射表面(諸如鏡子)或折射元件(諸如五稜鏡),以在第一OE模式期間將來自第一發射器1002的光引導至第一光學路徑1001。當光學元件1004切換到第二OE模式時,光學元件1004可以被平移、可以被旋轉,或者可以以其他方式被調節為不使來自第一發射器1002的光被引導至第一光學路徑1001。
若設備1000包括圖像感測器或第二發射器1003,則光學元件1004亦可以被配置為在第一OE模式下將來自第二光學路徑1024的光引導至圖像感測器或第二發射器1003/將來自圖像感測器或第二發射器1003的光引導至第二光學路徑1024。例如,光學元件1004可以包括第二反射表面或第二折射元件,以在第一模式期間將來自第二光學路徑1024的光引導至圖像感測器或第二發射器1003/將來自圖像感測器或第二發射器1003的光引導至第二光學路徑1024。當切換到第二OE模式時,光學元件1004可以被移動、可以被旋轉或者可以以其他方式被調節為不使光從圖像感測器或第二發射器1003被引導至第二光學路徑1024/從第二光學路徑1024被引導至圖像感測器或第二發射器1003。例如,對於圖像感測器,來自第一光學路徑1001的光可以被引導至圖像感測器1003。對於第二發射器,來自第二發射器1003的光可以被引導至第一光學路徑1001。參考圖14A至圖16F更詳細地描述了光學元件1004的示例操作和配置,並且該光學元件1004的示例操作和配置可以類似於圖4A至圖6H中描繪的光學元件的操作和配置。
任何合適的活動深度感測系統或技術可以由設備1000使用,或者被包括在設備1000中。以此種方式,第一發射器1002(以及任選地,第二發射器1003)被配置為發射針對該類型的活動深度感測系統所配置的光。在一些實現方式中,第一發射器1002被配置為發射光(諸如IR光)的泛光照明,並且物件的深度可以基於在活動深度感測接收器處(諸如在IR圖像感測器處)量測的光的反射強度。在一些其他實現方式中,活動深度感測系統可以基於發射已知的光分佈(其可以被稱為結構化的光深度感測系統,並且參考圖11對其進行了更詳細的描述)。在一些其他實現方式中,活動深度感測系統可以是直接TOF活動深度感測系統(參考圖12更詳細地描述)。在一些其他實現方式中,活動深度感測系統可以是間接TOF活動深度感測系統(參考圖13更詳細地描述)。第一發射器1002(以及任選地,第二發射器1003)可以包括被配置用於本文描述的示例活動深度感測系統(或另一個合適的活動深度感測系統)中的一或多個的發射器。
圖11圖示包括用於發射光分佈(諸如分佈1104)的發射器1102的示例活動深度感測系統1100的圖示。活動深度感測系統1100(在本文亦可以被稱為結構化的光系統)可以用於產生場景1106的深度圖(未圖示),或者可以用於基於場景1106中的物件的深度來執行一或多個操作。例如,場景1106可以包括面部,並且活動深度感測系統1100可以用於辨識或認證面部以用於螢幕解鎖或安全目的。活動深度感測系統1100可以包括發射器1102和接收器1108。發射器1102可以被稱為「發送器」、「投影儀」等,並且不應限於特定發送部件。貫穿以下的揭示內容,術語投影儀和發射器可以被互換地使用。接收器1108可以被稱為「偵測器」、「感測器」、「感測元件」、「光電偵測器」等,並且不應限於特定接收部件。
儘管本揭示將分佈稱為光分佈,但是可以使用其他頻率下的任何合適的無線信號(諸如射頻波、聲波等),並且該設備可以被配置為引導該設備中的該等無線信號。此外,儘管本揭示將分佈稱為包括複數個光點,但是光可以被聚焦為任何合適的大小和尺寸。例如,可以以線、正方形或任何其他合適的尺寸對光進行投影。另外,本揭示可以將分佈稱為編碼字元分佈,其中該分佈的定義部分(諸如預定義的光點補丁)被稱為編碼字元。若光點的分佈是已知的,則該分佈的編碼字元可以是已知的。在一些實現方式中,記憶體1006可以包括用於被包括在由第一發射器1002(以及任選地,第二發射器1003)發射的分佈中的編碼字元的編碼字元庫。隨後,編碼字元庫可以用於辨識由第一發射器1002(或第二發射器1003)發射的光(如藉由接收器接收的)的反射中的編碼字元,並且該等編碼字元在接收器的感測器上的位置可以用於決定場景中的一或多個深度。在另一個實現方式中,圖像感測器1003可以被配置為擷取圖像,該等圖像包括由關聯發射器發射的編碼字元分佈的反射。記憶體1006可以儲存用於關聯發射器的編碼字元庫,並且圖像信號處理器1012可以在處理來自圖像感測器1003的圖像時使用該編碼字元庫。可以以任何方式來組織和使用該分佈,並且本揭示不應限於特定類型的分佈或特定類型的無線信號。
發射器1102可以被配置為將光點的分佈1104投影到場景1106上。分佈1104中的黑圈可以指示其中沒有針對可能的點位置進行光的投影,並且分佈1104中的白圈可以指示其中針對可能的點位置進行光的投影。在一些示例實現方式中,發射器1102可以包括一或多個光源1124(諸如一或多個鐳射器)、透鏡1126和光調制器1128。光源1124可以包括任何合適的光源。在一些示例實現方式中,光源1124可以包括一或多個分散式回饋(DFB)鐳射器。在一些其他示例實現方式中,光源1124可以包括一或多個垂直腔表面發射鐳射器(VCSEL)。在一些實例中,一或多個光源1124包括VCSEL陣列、DFB鐳射陣列或其他合適的鐳射陣列。
發射器1102亦可以耦合到光圈1122,所發射的光從該光圈1122逃逸出發射器1102到場景上。在一些實現方式中,光圈1122可以是圖10中的第一光圈1020或第二光圈1022。儘管為了簡化說明的目的而在圖11中未圖示,但是發射器1102可以耦合到光學元件1004以將光引導至第一光圈1020或第二光圈1022。在一些實現方式中,發射器1102亦可以包括衍射光學元件(DOE),以將來自一或多個光源1124的發射衍射為附加發射。在一些態樣中,光調制器1128(用於調節發射的強度)可以包括DOE。DOE可以包括位於來自光源1124的光的投影路徑中的材料。DOE可以被配置為將光點分離為多個光點。例如,DOE的材料可以是具有已知折射率的半透明或透明聚合物。DOE的表面可以包括峰和穀(隨DOE的深度而變化),使得當光穿過DOE時,光點分離為多個光點。例如,DOE可以被配置為從一或多個鐳射器接收一或多個光點,並且以比由一或多個鐳射器發射的光點的數量更多的光點來投影預期的分佈。
在將光點的分佈1104投影到場景1106上時,發射器1102可以經由透鏡1126(及/或經由DOE或光調制器1128)輸出來自光源1124的一或多個光點,並且將其輸出到場景1106上。在一些實現方式中,發射器1102可以位於與接收器1108相同的參考平面上,並且發射器1102和接收器1108可以被間隔開被稱為基線的距離(1112)。在一些其他實現方式中,發射器1102和接收器1108可以位於不同的參考平面上。發射器1102可以位於第一參考平面上,並且接收器1108可以位於第二參考平面上。第一參考平面和第二參考平面可以是相同的參考平面,可以是彼此分離的平行參考平面,或者可以是以非零角度相交的參考平面。參考平面上的交點的角度和位置基於參考平面關於彼此的位置和方位。參考平面可以被定向為與設備的公共側相關聯。例如,兩個參考平面(無論是平行還是相交)可以被定向為接收來自設備的公共側(諸如來自設備的後側、設備的前側、設備的頂側等)的光。
在設備生產中,製造中的細微差異或誤差可以導致第一參考平面或第二參考平面的方位或位置不同。在一個實例中,將發射器1102或接收器1108安裝在印刷電路板(PCB)上可以包括誤差(在公差內),該誤差是發射器1102或接收器1108的方位與PCB的方位之間的誤差。在另一個實例中,包括發射器1102和接收器1108的不同PCB的方位可以比所設計的略微不同(諸如當PCB被設計為沿著相同的參考平面或彼此平行時的方位的輕微變化)。設備的第一參考平面和第二參考平面可以被稱為如經由設備設計所期望的相同的參考平面、平行參考平面或相交參考平面,而不考慮在生產設備時的製造、校準等導致的參考平面的方位的變化。
在一些示例實現方式中,由發射器1102投影的光可以是IR光。IR光被提供作為來自發射器1102的示例發射。在以下描述中,可以使用其他合適波長的光。例如,可以藉由發射器1102輸出IR光波長範圍或紫外光之外的可見光譜的部分中的光。替代地,可以使用具有不同波長的其他信號,諸如微波、射頻信號和其他合適的信號。
場景1106可以包括距結構化的光系統(諸如距發射器1102和接收器1108)不同深度的物件。例如,場景1106中的物件1106A和1106B可以處於不同深度。接收器1108可以被配置為從場景1106接收所發送的光點分佈1104的反射1110。為了接收反射1110,接收器1108可以擷取圖像。當擷取圖像時,接收器1108可以接收反射1110,以及(i)來自處於不同深度的場景1106的其他部分的光點分佈1104的其他反射和(ii)環境光。所擷取的圖像中亦可能存在雜訊。活動深度感測系統1100可以被配置為過濾或減少環境光干擾和雜訊,以隔離所擷取的圖像中的分佈1104的反射。
在一些示例實現方式中,接收器1108可以包括透鏡1130,以將所接收的光(包括來自物件1106A和1106B的反射1110)聚焦或引導至接收器1108的感測器1132。接收器1108亦可以包括或耦合到光圈1120。在一些實現方式中,光圈1120可以是圖10中的第一光圈1020或第二光圈1022。假設僅接收反射1110的實例,物件1106A和1106B的深度可以是基於基線1112、反射1110中的光分佈1104(諸如在編碼字元中)的位移和變型以及反射1110的強度來決定的。例如,沿著感測器1132從位置1116到中心1114的距離1134可以用於決定場景1106中的物件1106B的深度。類似地,沿著感測器1132從位置1118到中心1114的距離1136可以用於決定場景1106中的物件1106A的深度。沿著感測器1132的距離可以是根據感測器1132的圖元數量或距離(諸如毫米)來量測的。
在一些示例實現方式中,感測器1132(諸如IR圖像感測器)可以包括用於擷取圖像的光電二極體(諸如雪崩光電二極體)的陣列。為了擷取圖像,陣列中的每一個光電二極體可以擷取擊中光電二極體的光,並且可以提供指示光強度的值(擷取值)。因此,圖像可以是由光電二極體的陣列提供的擷取值。
作為包括光電二極體的陣列的感測器1132的附加或替代,感測器1132可以包括互補金屬氧化物半導體(CMOS)感測器。為了藉由光敏CMOS感測器擷取圖像,感測器的每個圖元可以擷取擊中該圖元的光並且可以提供指示光強度的值。在一些示例實現方式中,光電二極體的陣列可以耦合到CMOS感測器。以此種方式,由光電二極體的陣列產生的電脈衝可以觸發CMOS感測器的相應圖元以提供擷取值。
感測器1132可以包括至少與分佈1104中的可能光點的數量相等的圖元數量。例如,光電二極體的陣列或CMOS感測器可以包括分別對應於分佈1104中的多個可能光點的多個光電二極體或多個圖元。感測器1132在邏輯上可以被劃分為對應於編碼字元的位元的大小的圖元或光電二極體的組(諸如4x4組)。圖元或光電二極體的組亦可以被稱為位元,並且來自感測器1132的位元的所擷取的圖像的部分亦可以被稱為位元。在一些示例實現方式中,感測器1132可以包括與分佈1104相同的位元數量。
若光源1124發送IR光(諸如波長為例如940 nm的NIR光),則感測器1132可以是用於接收NIR光的反射的IR感測器。感測器1132亦可以被配置為使用泛光照明器(未示出)擷取圖像。在一些實現方式中,感測器1132可以是圖10中的圖像感測器1003、圖3A中的圖像感測器302或圖3A中的圖像感測器303的實例。儘管為簡單起見未圖示,但是光學元件1004可以被配置為將來自光圈1120的光引導至感測器1132。例如,當感測器1132是圖像感測器1003的示例實現方式時,光學元件1004可以在不同的OE模式下將來自第一光圈1020或來自第二光圈1022的光引導至感測器1132。以此種方式,感測器1132可以由多個光圈共享。
如圖所示,距離1134(對應於來自物件1106B的反射1110)小於距離1136(對應於來自物件1106A的反射1110)。藉由使用基於基線1112以及距離1134和1136的三角量測,可以在產生場景1106的深度圖時決定場景1106中的物件1106A和1106B的不同深度。決定深度亦可以包括決定反射1110中的分佈1104的位移或變形(諸如編碼字元的變形)。
儘管圖11中示出許多分離的部件,但是部件中的一或多個可以被一起實現或包括附加功能。活動深度感測系統1100可能不要求所描述的全部部件,或者部件的功能可以被分離成單獨的部件。亦可以存在未示出的附加部件(諸如光學元件和附加光圈)。例如,接收器1108可以包括帶通濾波器,以允許具有決定波長範圍的信號傳遞到感測器1132上(從而濾除具有該範圍之外波長的信號)。以此種方式,可以防止一些偶然信號(諸如環境光)干擾由感測器1132進行的擷取。帶通濾波器的範圍可以以發射器1102的發送波長為中心。例如,若發射器1102被配置為發送具有940 nm波長的NIR光,則接收器1108可以包括被配置為允許具有例如在920 nm至960 nm範圍內的波長的NIR光的帶通濾波器。因此,參考圖11描述的實例是出於說明目的,並且本揭示不限於用於活動深度感測的示例結構化的光系統1100。
其他活動深度感測系統可以包括TOF活動深度感測系統。示例TOF活動深度感測系統包括直接TOF活動深度感測系統(諸如圖12中所描繪)。直接TOF系統發射脈衝、感測脈衝並決定發射脈衝與感測脈衝反射之間的時間差。直接TOF系統使用時間差來決定往返時間,並且因此決定物件距TOF系統的深度。另一個示例TOF活動深度感測系統包括間接TOF活動深度感測系統(諸如圖13中所描繪)。間接TOF系統亦可以被稱為調頻連續波(FMCW)TOF系統。間接TOF系統發射週期性信號(諸如連續波正弦信號或週期性脈衝光)、感測信號的反射,並且決定發射信號與感測信號反射之間的相位差。間接TOF系統使用相位差來決定物件距TOF系統的深度。
圖12圖示包括發射器1202的直接TOF活動深度感測系統1200的圖示。發射器1202可以是圖10中描繪的第一發射器1002的示例實現方式。發射器1202可以被配置為朝向包括表面1206的場景發射信號(諸如光1204)。儘管發射光1204被示為指向表面1206,但是藉由發射器1202進行的發射場可以延伸超過表面1206的大小。例如,TOF系統發射器可以具有固定焦距的透鏡,該透鏡限定發射器的發射場。發射器1202可以是第一發射器1002或第二發射器1003的示例實現方式。儘管為了簡單起見未圖示,但是光學元件可以被配置為將來自發射器1202的光引導至多個光圈(諸如圖10中的光圈1020和1022)中的一個。
發射光1204包括已知時間間隔(諸如限定的時間段)下的光脈衝1214。接收器1208包括圖像感測器1210,以感測發射光1204的反射1212。反射1212包括反射光脈衝1216,並且往返時間1222是藉由將發射光脈衝1214的時序1218與反射光脈衝1216的時序1220進行比較而決定的。表面1206距TOF系統1200的距離可以被計算為往返時間乘以發射速度(諸如光發射的光速度)的一半。下文可以使用等式(1)決定深度:
Figure 02_image001
(1) 其中D是表面1206距直接TOF系統1200的深度,並且c是光速度(基於發射光1204的發射器1202)。
圖像感測器1210可以包括光電二極體和部件的陣列,以感測反射並產生對應於所接收的光的強度的電流或電壓的陣列。陣列中的每一個條目可以被稱為圖元或單元。可以隨時間比較來自圖元的電壓(或電流),以偵測發射光1204的反射1212。例如,可以將來自圖元的信號與閾值(對應於雜訊或環境光干擾)進行比較,並且大於閾值的峰值可以被辨識為由圖像感測器1210感測的反射光脈衝1216。閾值可以基於環境光、雜訊或其他干擾。例如,可以存在一定量的環境光(而沒有發射光1204),並且閾值可以基於環境光的大小(諸如當發射器1202沒有發射時由圖像感測器1210量測)。TOF系統1200的有效範圍的上限可以是距離,其中在感測到反射之前的雜訊或信號的劣化導致訊雜比(SNR)對於圖像感測器1210精確地感測反射光脈衝1216而言過大。為了減少干擾(並因此增大範圍或改善訊雜比),接收器1208可以在圖像感測器1210之前包括帶通濾波器,以過濾以發射光1204的波長為中心的波長範圍之外的入射光。
在一些實現方式中,直接TOF系統1200的圖像感測器1210的每個圖元可以由於其靈敏度和回應性而包括單光子雪崩二極體(SPAD),以使得能夠辨識反射中的脈衝並解析脈衝光反射的到達時間。每個SPAD可以耦合到圖像感測器1210的讀出電路、時間相關的時間數位轉換器(TDC)以及一或多個記憶體單元,以使得圖像感測器1210能夠擷取圖像。直接TOF系統的替代方案是間接TOF系統。圖像感測器1210可以是圖10中的圖像感測器1003或圖3A中的圖像感測器302或303的示例實現方式。儘管為了簡單起見未圖示,但是光學元件可以被配置為將來自第一光圈或第二光圈(諸如圖10中的光圈1020和1022)的光引導至圖像感測器1210。
圖13圖示包括發射器1302的間接TOF活動深度感測系統1300的圖示。發射器1302可以是圖10中描繪的第一發射器1002的示例實現方式。發射器1302可以被配置為朝向包括表面1306的場景發射信號(諸如光1304)。儘管為了簡單起見未圖示,但是光學元件可以基於OE模式將來自發射器1302的光引導至一或多個光圈。儘管發射光1304被示為引導至表面1306,但是藉由發射器1302進行的發射場可以延伸超過表面1306的大小。例如,TOF系統發射器可以具有固定焦距的透鏡,該透鏡限定發送器的發射場。
發射光1304包括限定頻率的正弦信號1314(或其他合適的週期性信號)。接收器1308包括圖像感測器1310,以感測發射光1304的反射1312。圖像感測器1310可以是圖10中的圖像感測器1003或圖3A中的圖像感測器302或303的示例實現方式。儘管為了簡單起見未圖示,但是光學元件可以被配置為將來自第一光圈或第二光圈(諸如圖10中的光圈1020和1022)的光引導至圖像感測器1310。反射1312包括反射正弦信號1316。決定發射正弦信號1314與反射正弦信號1316之間的相位差1322(如藉由發射正弦時序1318和反射正弦時序1320所示)。相位差1322可以指示往返時間,並且因此可以用於決定表面1306距間接TOF系統1300的距離。為產生正弦信號1314,TOF系統1300可以被配置為調制載波信號以產生正弦波。例如,可以調制940奈米波長的光以產生正弦信號1314。波的頻率在本文可以被稱為調制頻率。在比較TOF與相位差的關係時,可以根據所量測的相位差(PD)和調制頻率(fmod )來定義TOF,如下文等式(2)所描繪的:
Figure 02_image003
(2) 在簡化的實例中,若PD為π並且fmod 約為250千赫茲(kHz),則TOF為2微秒(1除以500 kHz)。返回參考等式(1),基於TOF等於2微秒的深度D約為300米。
儘管圖13將發射光1304示為具有正弦波形(藉由正弦曲線1314示出),但是可以使用任何合適的波形。例如,TOF系統1300可以被配置為以週期性模式逐步增大和減小發射光的強度。以此種方式,發射光的波形可以近似於方波(諸如針對週期性脈衝信號)。可以使用其他波形,包括鋸齒波形等。如本文所使用的,正弦波形或正弦波可以指信號的任何合適的波形(包括近似方波)。
在一些實現方式中,間接TOF系統1300可以包括用於圖像感測器1310的每個圖元(在本文中被稱為解調圖元或鎖定圖元)的解調電路。每個解調圖元可以包括解調光電偵測器,並且被配置為產生和儲存對應於在陣列的光電二極體處接收的反射正弦信號和發射正弦信號的相位或相位差的一或多個電壓。可以根據一或多個儲存電壓來決定相位差。例如,解調圖元可以產生電壓信號(諸如使用來自光電二極體的電流來決定發送圖元電壓(諸如軌電壓)還是低電壓作為電壓信號)。使用解調圖元的示例圖像感測器1310可以產生電壓陣列,以用於藉由圖像感測器1310進行的單個擷取。可以處理電壓陣列以針對每個圖元產生PD,並且處理PD以產生場景中的物件的一或多個深度。
儘管在本揭示中描述了一些示例活動深度感測系統,但是可以使用任何合適的活動深度感測系統。圖10中的設備1000的第一發射器1002(或第二發射器1003)不限於用於活動深度感測的特定類型的發射器或者活動深度感測的特定類型或配置。如此,設備1000的設備模式可以被配置用於活動深度感測的任何合適配置。
如本文所指出,光學元件1004可以被配置為在兩個或兩個以上OE模式之間進行切換以用於活動深度感測。例如,若第一光圈1020位於設備1000的第一側上以及第二光圈1022位於設備1000的第二側上,則第一OE模式可以與從設備1000的第一側發射的光的活動深度感測相關聯,並且第二OE模式可以與從設備1000的第二側發射的光的活動深度感測相關聯。此外,如本文所指出,設備1000可以被配置為在兩個或兩個以上設備模式之間進行切換。例如,若設備1000包括第二發射器1003,則第一設備模式可以與使用第一發射器1002的活動深度感測的第一類型或配置相關聯,並且第二設備模式可以與使用第二發射器1003的活動深度感測的第二類型或配置相關聯。例如,第一發射器1002可以被配置為發射第一光分佈,並且第二發射器1003可以被配置為發射第二光分佈(諸如具有與第一光分佈不同的編碼字元大小或分佈的光分佈)。在另一個實例中,第一發射器1002可以被配置為發射光分佈以用於結構化的光深度感測,並且第二發射器1003可以被配置為發射脈衝光以用於TOF深度感測。在一些其他實現方式中,設備1000可以被配置為在一或多個活動深度感測模式與一或多個圖像擷取模式之間進行切換。例如,若設備1000包括圖像感測器1003,則設備1000可以被配置為在使用第一發射器1002的活動深度感測模式與使用圖像感測器1003的圖像擷取模式之間進行切換。若設備1000包括圖像感測器或第二發射器1003,則光學元件1004的OE模式可以取決於設備1000的設備模式。在一些實現方式中,設備1000可以不包括圖像感測器或第二發射器1003,並且設備1000可以不具有不同的設備模式。光學元件1004的OE模式可以取決於其他標準,諸如用於活動深度感測的預期發射方向。
在OE模式之間進行切換時,設備1000(諸如控制器1010)可以調節光學元件1004。例如,設備1000可以基於被施加到光學元件的刺激(諸如電流)來旋轉光學元件1004(諸如圖14A和圖14B中所描繪的,並且類似於如圖4A和圖4B中所描繪的)、調節光學元件1004的位置(諸如圖15A和圖15B中所描繪的,並且類似於如圖5A和圖5B中所描繪的),或者調節光學元件1004的狀態(諸如圖16A和圖16B中所描繪的,並且類似於如圖6A和圖6B中所描繪的)。圖16C至圖16F中所描繪的光學元件以及調節光學元件可以類似於如圖6E至圖6H所描繪的。
圖14A圖示示例設備1400部分的橫截面,其示出當設備1400處於第一模式時與第一光學路徑1406相關聯的第一發射器1402。光學元件1414被配置為在第一OE模式期間將來自第一發射器1402的光引導至第一光學路徑1406(並到達第一光圈1410)。光學元件1414類似於圖4A和圖4B中的光學元件414。光可以沿著第一光學路徑1406傳播,並且光可以來自第一光圈1410或光學元件1414。一或多個部件1418可以在第一光學路徑1406與光學元件1414之間引導光。設備1400包括第二光圈1412,該第二光圈1412被配置為沿著第二光學路徑1408引導光或者接收沿著設備1400中的第二光學路徑1408傳播的光。儘管在設備1400的不同側上圖示光圈1410和1412,但是光圈1410和1412可以在設備1400的同一側上。光學元件1414(和任何部件1418)可以處於任何合適的方位和配置,以在第一設備模式期間在第一光學路徑1406與第一發射器1402之間引導光。若第一光圈1410位於圖14A中所示的設備1400的左側(類似於圖4C),則部件1418可以將從光學元件1414接收的光引導至第一光圈1410(或反之亦然)。在第二OE模式下,第一發射器1402可以發射光,該光經由第二光圈1412(諸如圖14B中所描繪的)被發射到設備1400的外部。在所示的示例設備1400中,光學元件1414可以阻擋來自第一發射器1402的光到達第二光圈1412(而是光被反射到第一光圈1410)。
若設備1400包括圖像感測器1404,則光學元件1414可以被配置為在第一OE模式下將來自第二光學路徑1408的光引導至圖像感測器1404。若設備1400包括第二發射器1404,則光學元件1414可以被配置為將來自發射器1404的光引導至第二光學路徑1408。
致動器1416可以旋轉光學元件1414,以在OE模式之間進行切換。致動器1416可以類似於圖4A和圖4B中的致動器416。例如,致動器1416可包括或耦合至旋轉馬達或其他構件,以在第一方位與第二方位之間旋轉光學元件1414,並且致動器1416由控制器(諸如圖10中的控制器1010)控制。如以上在描述圖4A和圖4B時所指出,圖14A和圖14B(以及隨後附圖)中的實例可以指光學元件關於第一光學路徑的方位。儘管圖14A和圖14B(以及隨後附圖)中的實例可以指光學元件關於第一光學路徑的方位,但是光學元件的方位可以關於任何合適的設備部件或設備內的合適參考。例如,該方位可以關於圖像感測器的方位、關於發射器的方位、關於來自光學路徑的接近光學元件的光的方向等。
圖14B圖示圖14A中的設備1400部分的橫截面,其中光學元件1414關於用於第二OE模式的第一光學路徑1406處於示例第二方位。在第二OE模式下,設備1400被配置為將來自第一發射器1402的光引導至第二光學路徑1408。若設備1400包括圖像感測器或第二發射器1404,則設備1400亦被配置為在第二設備模式期間將來自第一光學路徑1406的光引導至圖像感測器或第二發射器1404/將來自圖像感測器或第二發射器1404的光引導至第一光學路徑1406。
如以上針對光學元件414(圖4A和圖4B)所指出,光學元件1414的反射率和透明度或折射率可以基於在光學元件1414處接收的光的入射角。以此種方式,光學元件1414的反射率和透明度可以基於光學元件1414關於第一光學路徑1406的方位。光學元件1414可以由如上所描述的用於光學元件414的材料組成。
若光圈1410和1412在設備的不同側上,則OE模式可以基於用於從設備1400發射光(或用於為圖像感測器1404擷取圖像)的預期方向。若光圈1410和1412在設備的同一側上,則對於包括圖像感測器1404的第二設備模式,圖像感測器1404可以用於較寬FOV成像或三維成像(諸如以上參考圖3C、圖3D和圖3F所描述的)。對於第一設備模式(或包括第二發射器1404的第二設備模式),設備的同一側上的光圈可以被定向和配置為將來自發射器的光引導至場景的不同部分(諸如本文參考較寬FOV成像所描述的)。以此種方式,與僅使用一個光圈相比,來自發射器的光可以被發射到場景的較大部分。
返回參考圖4E和圖4F,圖像擷取系統的多個實例可以在設備中共存。在一些實現方式中,活動深度感測系統的多個實例可以存在於設備1000中。另外或替代地,活動深度感測系統的一或多個實例可以與設備中的圖像擷取系統的一或多個實例一起存在。例如,返回參考圖3G,第一光圈364和第二光圈366可以與活動深度感測系統(類似於如圖14A中所示)相關聯。第三光圈368和第四光圈370可以與第二活動深度感測系統(類似於如圖14A中所示)或圖像擷取系統(類似於如圖4A中所示)相關聯。若兩個發射器1002和1003共享第一光圈364和第二光圈366,並且兩個圖像感測器302和303共享第三光圈368和第四光圈370,則第一圖像感測器可以與第一發射器相關聯,並且第二圖像感測器可以與第二發射器相關聯。以此種方式,設備可以包括多個活動深度感測系統。在另一個實例中,設備可以包括一個發射器和三個圖像感測器(其中該發射器和一個圖像感測器共享兩個光圈)。儘管圖14C和圖14D圖示圖像感測器和發射器的組合的實例,但是發射器、圖像感測器、光學元件等的任何組合、數量和配置可以被包括在設備中。
圖14C圖示示例設備1440部分的橫截面,其示出與第一光學路徑1446相關聯的第一發射器1442以及與第三光學路徑1466相關聯的第一圖像感測器1462。光學元件1454可以基於光學元件1454處於第一方位而將來自第一發射器1442的光引導至第一光學路徑1446。光學元件1474可以基於光學元件1474處於第一方位而將來自第三光學路徑1466的光引導至第一圖像感測器1462。在一些實現方式中,光學元件1454亦可以基於光學元件1454處於第一方位而將來自第二發射器1444的光引導至第二光學路徑1448,並且光學元件1474可以基於光學元件1474處於第一方位而將來自第三光學路徑1466的光引導至第二圖像感測器1464。比較圖14C和圖4A以及圖14A,部件458和478可以類似於部件418或1418,光學元件454和474可以類似於光學元件414或1414,並且致動器456和476可以類似於致動器416或1416。
若第一圖像感測器1462是第一發射器1442的接收器,則可以使用發射器/感測器對來執行活動深度感測。若第二圖像感測器1464是第二發射器1444的接收器,則亦可以使用發射器/感測器對來執行活動深度感測。這兩對可以被配置用於不同類型的活動深度感測或相同類型的活動深度感測的不同配置。儘管圖14C和圖14D圖示共享光圈的發射器和共享光圈的圖像感測器,但是第一發射器1442可以與第二圖像感測器1464共享光圈,並且第二發射器1444可以與第一圖像感測器1462共享光圈。例如,在圖14C中,可以切換第二發射器1444和第二圖像感測器1464。在一些其他實現方式中,光圈可以被佈置在任一側上。例如,光圈1450和1452可以被佈置在具有光圈1472的設備的側面上,並且光圈1470可以在設備1440的不同側上。以此種方式,可能期望在從設備的特定方向上(諸如從智慧型電話的後方)進行活動深度感測,但是可能期望從設備的多個側面進行圖像擷取(諸如亦從智慧型電話的前方,以進行自拍成像)。若用於活動深度感測的光圈被配置為允許在場景的較寬部分上發射光(並且圖像感測器被配置為針對場景的較寬FOV擷取圖像),則光學元件1454的OE模式可以交替以允許針對場景的較寬部分的深度感測(類似於本文描述的針對較寬FOV成像的操作)。儘管描述了一些示例配置,但是可以使用部件的任何合適配置。
圖14D圖示示例設備1440部分的橫截面,其示出與第一光學路徑1446相關聯的第二發射器1444以及與第三光學路徑1466相關聯的第二圖像感測器1464。光學元件1454(處於第二方位)可以允許來自第二發射器1444的光到達第一光圈1450,並且光學元件1474(處於第二方位)可以允許來自第三光學路徑1466的光到達第二圖像感測器1464。光學元件1454亦可以允許來自第一發射器1442的光到達第二光圈1452,並且光學元件1474可以允許來自第四光學路徑1468的光到達第一圖像感測器1462。比較圖14D和圖4B以及圖14B,部件1458和1478可以類似於部件418或1418,光學元件1454和1474可以類似於光學元件414或1414,並且致動器1456和1476可以類似於致動器416或1416。在一些實現方式中,一個光學元件可以由發射器或圖像感測器1442、1444、1462和1464共享。例如,發射器和圖像感測器可以被定位為使得一個較大的光學元件可以被旋轉為以如圖14C或圖14D中所示地一般引導光。在一些其他實現方式中,光學元件1454和1474可以具有彼此不同的OE模式或者在不同時間切換模式。在一些另外的實現方式中,光學元件1454和1474可以被移動或具有所施加的刺激以進行調節。可以存在其他配置,並且本揭示不限於以上實例。
圖15A至圖16F描繪了包括與光學元件相關聯的圖像感測器或第二發射器的設備。然而,該等圖示是為了清楚地解釋本揭示的態樣。如圖10、圖14A和圖14B中所示,不要求設備包括與光學元件相關聯的圖像感測器或第二發射器。如此,本揭示(包括圖15A至圖16F中描繪的實例)不限於要求與光學元件相關聯的圖像感測器或第二發射器。
圖15A圖示示例設備1500部分的橫截面,其示出與第一光學路徑1506相關聯的第一發射器1502。光學元件1514被配置為在第一OE模式下將來自第一發射器1502的光引導至第一光學路徑1506。若設備1500包括圖像感測器或第二發射器1504,則光學元件1514亦被配置為將來自光學路徑1508的光引導至圖像感測器或第二發射器1504/將來自圖像感測器或第二發射器1504的光引導至光學路徑1508。沿著第一光學路徑1506的光可以經由第一光圈1510離開設備1500。若設備1500包括圖像感測器1504,則沿著第二光學路徑1508的光可以經由第二光圈1512進入設備。若設備1500包括第二發射器1504,則沿著第二光學路徑1508的來自第二發射器1504的光可以經由第二光圈1512離開設備1500。類似於圖14A和圖14B,設備1500可以包括被配置為在第一光學路徑1506(或第二光學路徑1508)與光學元件1514之間引導光的一或多個部件1540。
可以類似於圖5A和圖5B中描繪的光學元件514來配置光學元件1514。例如,光學元件1514可以包括單側鏡或雙側鏡、稜鏡或用於引導光的其他合適元件。致動器1516可以被配置為在第一位置(諸如圖15A中所示)與第二位置(諸如圖15B中所示)之間移動光學元件1514。致動器1516可以由設備控制器(諸如圖10中的控制器1010)控制。可以類似於圖5A和圖5B中的致動器516來配置致動器1516。
圖15B圖示圖15A中的設備1500部分的橫截面,其中光學元件1514在第二OE模式下處於設備1500中的示例第二位置。設備1500被配置為將來自第一發射器1502的光引導至第二光學路徑1508。若設備1500包括圖像感測器或第二發射器1504,則設備1500亦被配置為在圖像感測器或第二發射器1504與第一光學路徑1506之間引導光。儘管未圖示,但是光圈1510和1512可以在設備的同一側上(類似於如圖5C和圖5D中所示)。
圖16A圖示示例設備1600部分的橫截面,其示出與用於第一OE模式的第一光學路徑1606相關聯的第一發射器1602。基於是否向光學元件1614施加了電流(或另一種合適的刺激),第一發射器1602與第一光學路徑1606相關聯。圖16B圖示示例設備1600部分的橫截面,其示出與用於第二OE模式的第二光學路徑1608相關聯的第一發射器1602。基於是否向光學元件1614施加了電流(或另一種合適的刺激),第一發射器1602與第二光學路徑1608相關聯。光學元件1614的透明度、反射率或折射率可以基於被施加到光學元件1614的刺激的水平(諸如所施加的電流量)。例如,當施加了電流時,光學元件1614可以是透明的,並且當未施加電流時,光學元件1614可以是反射的。可以類似於圖6A和圖6B中描繪的光學元件614來配置光學元件1614。例如,光學元件614和光學元件1614的材料組成可以是相同的。以此種方式,光學元件1614可以包括或耦合到電觸點1616,以用於向光學元件1614施加電流。電觸點1616可以由設備控制器(諸如圖10中的控制器1010)控制,以控制光學元件1614的狀態。對光學元件1614的控制可以類似於圖6A和圖6B中描繪的對光學元件614的控制。例如,控制器1010可以控制開關以使得電流被施加到電觸點1616或從電觸點1616去除電流,以便在OE模式之間進行切換。儘管未圖示,但是光圈1610和1612可以在設備的同一側上(類似於如圖6C和圖6D中所示)。
圖16C至圖16F圖示用於在OE模式之間進行切換的光學元件的其他示例實現方式。圖16C圖示示例設備1650部分的橫截面,其示出與第一光學路徑1656相關聯的第一發射器1652。第一光圈1660被配置為沿著第一光學路徑1656引導光,並且第二光圈1662被配置為沿著第二光學路徑1658引導光。在用於第一OE模式的第一方位中,光學元件1664將來自第一發射器1652的光引導至第一光學路徑1656。光學元件1664亦可以針對第一OE模式將來自第二光學路徑1658的光引導至圖像感測器或第二發射器1654/將來自圖像感測器或第二發射器1654的光引導至第二光學路徑1658。光學元件1664可以類似於圖6E中的光學元件664。
在第一OE模式和第二OE模式之間進行切換時,致動器1666可以將光學元件1664旋轉到第二方位。致動器1666可以類似於圖14A中的致動器1416,除了致動器1666使光學元件1664沿著朝向光學元件1664的中心的軸線(而不是朝向光學元件的一端的軸線)旋轉。圖16D圖示示例設備部分的橫截面,其示出與第二光學路徑1658相關聯的第一發射器1652。在用於第二OE模式的第二方位中,光學元件1664被配置為將來自第一發射器1652的光引導至第二光學路徑1658。光學元件664亦被配置為將來自第一光學路徑1656的光引導至圖像感測器或第二發射器1654/將來自圖像感測器或第二發射器1654的光引導至第一光學路徑1656。在一些其他實現方式中,光學元件可以是稜鏡或者被移動或旋轉以在OE模式之間進行切換的其他物件。
在一些實現方式中,光學元件可以是稜鏡或被配置為基於被施加到光學元件的刺激來引導光的其他結構,而非旋轉光學元件。圖16E圖示示例設備部分的橫截面,其示出與第一光學路徑1676相關聯的第一發射器1672。設備1670可以類似於圖16C中的設備1650,除了所使用的光學元件的類型之外。例如,光學元件1686可以類似於圖6G中的光學元件686。以此種方式,第一發射器1672可以類似於第一發射器1652,圖像感測器或第二發射器1674可以類似於圖像感測器或第二發射器1654,第一光學路徑1676可以類似於第一光學路徑1656,第二光學路徑1678可以類似於第二光學路徑1658,第一光圈1680可以類似於第一光圈1660,並且第二光圈1682可以類似於第二光圈1662。
儘管光學元件1686被示為基於藉由電觸頭1688和電觸頭1690施加電流來改變狀態,但是可以使用任何合適的刺激並且可以以任何方式施加。在一些實現方式中,當經由電觸點1688施加電流時,光學元件1686的第一部分包括具有第一方位的第一分子集,並且當經由電觸點1690施加電流時,光學元件1686的第二部分包括具有第一方位的第二分子集。儘管示出兩個電觸點,但是可以使用任何合適的數量(諸如一或多個電觸點)。當第一分子集和第二分子集處於第一方位時,光學元件1686可以被配置為引導光,如圖16E中所示(並且類似於如圖6G中所示)。當未施加電流時,第一分子集和第二分子集亦可以具有第二方位。以此種方式,當第一分子集和第二分子集處於第二方位時,光學元件1686可以被配置為引導光,如圖16F中所示(並且類似於如圖6H中所示)。圖16F圖示圖16E中的示例設備部分的橫截面,其示出與第二光學路徑1678相關聯的第一發射器1672。
在一些其他實現方式中,光學元件1686可以包括被組合在一起的兩個或兩個以上光學元件的分離部件。例如,光學元件1686的第一部分可以類似於圖16A中的光學元件1614。可以基於經由電觸點1688施加的電流來控制第一部分。光學元件1686的第二部分可以類似於旋轉90度的光學元件1614。可以基於經由電觸點1690施加的電流來控制第二部分。以此種方式,在OE模式之間進行切換可以包括針對第一OE模式來經由觸點1688提供電流且不經由觸點1690提供電流與針對第二OE模式來不經由觸點1688提供電流且經由觸點1690提供電流之間進行切換。
如圖14A至圖16F中所描繪的,藉由光學元件引導光以用於活動深度感測模式可以類似於藉由光學元件引導光以用於圖像擷取模式(諸如圖3A至圖6H中所描繪的)。以此種方式,可以關於活動深度感測模式(諸如圖10以及圖14A至圖16H中所描繪的)來應用本文參考圖像擷取模式描述的本揭示的態樣。
圖17A圖示描繪用於活動深度感測的示例操作1700的說明性流程圖。第一發射器、第一光圈和第二光圈可以如圖10以及圖14A至圖16B中所描繪的(或者以其他方式描述)。圖17A被描述為由圖10中描繪的設備1000執行,以用於清楚說明的目的。然而,任何合適的設備或設備配置皆可以用於執行示例操作1700。
在1702處,設備1000的第一發射器1002發射第一光以用於活動深度感測。例如,第一發射器1002可以發射第一光分佈,可以發射週期性脈衝光,或者可以發射漫射光(諸如用於泛光照明)。在判定方塊1704處,若光學元件1004處於第一OE模式,則操作1700進行到步驟1706。若光學元件1004不處於第一OE模式(諸如處於第二OE模式),則操作1700進行到步驟1710。參考步驟1706,光學元件1004將由第一發射器1002發射的第一光引導至第一光學路徑1001。例如,光學元件1004可以基於光學元件1004的方位、光學元件1004的位置、光學元件1004的狀態(基於被施加到光學元件1004的電流)等將來自第一發射器1002的光反射或折射到第一光學路徑1001。在1708處,第一光圈1020將來自第一光學路徑1001的第一光引導到設備1000的外部。
參考步驟1710,設備1000將來自第一發射器1002的第一光引導至第二光學路徑1024。例如,光學元件1004可以處於不阻擋來自第一發射器1002的光到達第二光學路徑1024(以及第二光圈1022)的位置。在另一個實例中,光學元件1004可以具有方位或處於基於刺激(諸如所施加的或未施加的電流)的狀態,以允許來自第一發射器1002的光穿過光學元件1004並到達第二光學路徑1024。在1712處,第二光圈1022將來自第二光學路徑1024的光引導至設備1000的外部。如本文所指出,控制器1010可以被配置為調節光學元件1004,以針對示例操作1700在OE模式之間進行切換。
若設備1000包括圖像感測器或第二發射器1003,則設備1000亦可以具有不同的設備模式。圖17B圖示描繪用於藉由被配置用於不同設備模式的設備1000進行活動深度感測的示例操作1720的說明性流程圖。在判定方塊1722處,若設備1000處於第一設備模式,則操作可以進行到圖17A中的步驟1702。以此種方式,第一發射器1002將用於活動深度感測。若設備1000不處於第一設備模式(諸如設備1000處於第二設備模式),則操作可以進行到判定方塊1724。若設備1000處於第二設備模式,則圖像感測器可以用於圖像擷取或者第二發射器可以用於活動深度感測。
在判定方塊1724處,若設備1000包括第二發射器,則操作可以進行到1726。若設備1000包括圖像感測器,則操作可以進行到1730。返回參考1726,當設備1000處於第二設備模式時,第二發射器發射第二光。例如,第一設備模式可以是使用第一發射器的第一活動深度感測模式,並且第二設備模式可以是使用第二發射器的第二活動深度感測模式。兩個活動深度感測模式可以用於不同類型的活動深度感測技術(諸如結構化光與飛行時間)。在另一個實例中,兩個活動深度感測模式可以用於發射不同的光分佈以用於結構化的光深度感測,或者用於發射不同的脈衝頻率或不同波長的光以用於飛行深度感測時間。例如,第一發射器可以被配置為發射低於1000 nm波長的光,並且第二發射器可以被配置為發射具有大於1000 nm波長的光。以此種方式,飛行時間深度感測可以基於應用而使用不同頻率的光。
在1728處,設備1000基於OE模式將來自第二發射器1003的第二光引導至第一光學路徑1001或第二光學路徑1024。例如,若光學元件1004處於第一OE模式,則光學元件1004可以將第二光引導朝向第二光圈1022。若光學元件1004處於第二OE模式,則光學元件1004可以將第二光引導朝向第一光圈1020。第一OE模式可以與光學元件1004的第一方位、光學元件1004的第一位置或光學元件1004的第一狀態相關聯。第二OE模式可以與光學元件1004的第二方位、光學元件1004的第二位置或光學元件1004的第二狀態相關聯。在一些實現方式中,設備1000被配置為基於將使用哪個OE模式來調節光學元件1004。例如,控制器1010可以指示致動器或以其他方式控制光學元件1004在方位之間旋轉、在位置之間移動或向光學元件1004施加刺激。
返回參考1724,若設備1000包括圖像感測器,則設備1000可以基於OE模式將沿著第一光學路徑或第二光學路徑傳播的光引導至圖像感測器(1730)。例如,若光學元件1004處於第一OE模式,則光學元件1004可以將來自第二光圈1022的光(其沿著第二光學路徑1024傳播)引導朝向圖像感測器1003。若光學元件1004處於第二OE模式,則光學元件1004可以將來自第一光圈1020的光(沿著第一光學路徑1001傳播)引導朝向圖像感測器1003。在一些實現方式中,設備1000被配置為基於將使用哪個OE模式來調節光學元件1004。例如,控制器1010可以指示致動器或以其他方式控制光學元件1004在方位之間旋轉、在位置之間移動或向光學元件1004施加刺激。
控制器1010(或設備1000的另一個合適的部件)可以針對不同的OE模式(並且任選地,在不同的設備模式期間)控制光學元件1004。圖18圖示描繪控制光學元件1004以用於活動深度感測的示例操作1800的說明性流程圖。操作1800可以由控制器1010或設備1000的另一個合適的部件執行。
在1802處,設備1000(諸如控制器1010)辨識光學元件1004將處於第一OE模式還是第二OE模式。在一些實現方式中,控制器1010基於設備模式辨識OE模式(1804)。例如,若第一光圈1020將被用於使用第二發射器1003(其可以對應於第二設備模式)的活動深度感測,則控制器1010可以辨識光學元件1004將處於第二OE模式。在另一個實例中,若第一光圈1020將被用於使用第一發射器1002(其可以對應於第一設備模式)的活動深度感測,則控制器1010可以辨識光學元件1004將處於第一OE模式。在另一個實例中,若設備1000將使用兩個光圈來跨場景的較寬部分發射光以用於活動深度感測,則控制器1010可以決定第一OE模式將被用於第一時間部分,並且第二OE模式將被用於第二時間部分(諸如交替OE模式)。
在將OE模式的辨識基於設備模式的一些實現方式中,控制器1010可以基於不同活動深度感測系統的效率來辨識OE模式。例如,第一發射器1002可以發射第一光分佈,並且第二發射器1003可以發射第二光分佈,以用於結構化的光深度感測。與第二光分佈相比,第一光分佈可以是更稀疏的或具有更大的編碼字元。以此種方式,在沒有干擾(諸如環境光)的情況下,使用第一光分佈的第一深度圖可以比使用第二光分佈的第二深度圖具有更小的解析度。然而,第二光分佈可能更容易受到干擾,這是因為光點可能會更緊密地聚在一起並且具有較低的單獨光強度。例如,在明亮的陽光下,使用第二光分佈的深度映射可能是更加困難的。在另一個實例中,隨著物件的深度增加,使用第二光分佈的深度映射可能是更加困難的。以此種方式,設備1000可以決定正在使用的當前光分佈是否足夠。例如,當處理包括光分佈的反射的圖像並且決定深度以產生深度圖時,深度圖可以包括其中不能決定深度的孔洞。若孔洞的數量或大小達到用於第二光分佈的閾值,則設備1000可以決定將使用第一發射器1002(具有所發射的更稀疏的光分佈)。以此種方式,設備1000可以決定從第二設備模式切換到第一設備模式以用於活動深度感測。作為結果,控制器1010可以控制光學元件以切換OE模式,以便從使用第二光分佈以用於活動深度感測切換到使用第一光分佈以用於活動深度感測。
在一些其他實現方式中,控制器1010基於活動深度感測或成像應用來辨識OE模式(1806)。例如,若第二光圈1022是智慧型電話上的面向前方的光圈,並且智慧型電話將使用第一發射器1002執行活動深度感測以進行臉孔辨識,則控制器1010可以決定第二光圈1022將被用於活動深度感測。以此種方式,控制器1010可以辨識光學元件1004將處於第二OE模式。在另一個實例中,若智慧型電話處於低功率狀態或鎖定狀態,則設備1000可以被配置為使用較低功率圖像感測器來執行成像應用,以用於物件偵測(諸如以偵測可能的面部是否接近圖像感測器的視場的中心)。若偵測到可能的面部,則控制器1010可以決定在使用第一發射器1002來發射光分佈以用於活動深度感測(諸如用於臉孔辨識)時切換OE模式。
在一些另外的實現方式中,控制器1010基於使用者輸入來辨識OE模式(1808)。例如,若光圈1020和1022位於設備1000的不同側上,則使用者可以指示從設備向哪個方向執行活動深度感測。例如,使用者可以經由一或多個輸入(諸如經由GUI、聽覺命令、觸覺命令等)來明確地選擇方向或以其他方式指示OE模式。
在一些實現方式中,控制器1010基於設備1000的方位來辨識OE模式(1809)。例如,控制器1010可以決定(諸如基於方位量測或來自圖像感測器的圖像中的光強度的量測)設備1000處於表面上,其中第一光圈1020向上指向表面並且第二光圈1022向下指向表面。控制器1010可以決定第一光圈1020將被用於使用圖像感測器的物件偵測,並且將被用於活動深度感測以用於使用第一發射器1002的臉孔辨識。以此種方式,控制器1010可以辨識第二OE模式以用於物件偵測(以將來自第一光圈1020的光引導朝向圖像感測器),並且控制器1010可以辨識第一OE模式以用於臉孔辨識(將來自第一發射器1002的光引導朝向第一光圈1020以用於活動深度感測)。
在1810處,設備1000基於所辨識的OE模式來控制光學元件1004。例如,控制器1010可以決定是否針對所辨識的OE模式來調節光學元件1004,並且控制器1010可以基於所辨識的OE模式來調節光學元件1004(1812)。如本文所指出,調節光學元件1004可以包括旋轉光學元件1004、移動光學元件1004或向光學元件1004施加刺激(諸如電流)。例如,控制器1010可以將當前OE模式與所辨識的OE模式進行比較,並且決定是否存在差異。若存在差異,則控制器1010可以指示(或以其他方式控制)致動器旋轉或移動光學元件1004,或者可以控制電觸點以向光學元件1004施加電流或從光學元件1004去除電流。如本文所指出,光學元件1004可以在設備操作期間(包括在設備模式期間)改變模式。如此,可以多次執行操作1800。
在一些實現方式中,第一設備模式和第二設備模式可以同時發生。例如,若設備1000包括第二發射器1003,則可以使用設備1000的兩個發射器和兩個光圈來執行活動深度感測。在另一個實例中,若設備300包括第二光圈322,則可以使用設備300的兩個圖像感測器和兩個光圈來執行圖像擷取。例如,可以在從智慧型電話的後方進行的活動深度感測或圖像擷取的同時來執行從智慧型電話的前方進行的活動深度感測或圖像擷取。在另一個實例中,可以從設備1000的同一側執行活動深度感測和圖像擷取。在一些實現方式中,活動深度感測可以是飛行時間深度感測,以用於圖像感測器1003的鐳射自動聚焦以用於圖像擷取。
如本文所指出,設備可以包括圖像感測器、發射器、光學元件等的任何合適的組合,並且部件的配置可以是任何合適的配置。設備可以執行本文描述的方法的任何組合。例如,設備可以被配置用於複數個活動深度感測模式和複數個圖像擷取模式。
除非被特別描述為以特定方式實現,否則本文描述的技術可以以硬體、軟體、韌體或其任何組合來實現。被描述為模組或部件的任何特徵亦可以一起在集成邏輯設備中實現,或者被單獨地實現為離散但可交互動操作的邏輯設備。若以軟體實現,則該等技術可以至少部分地由包括指令的非暫時性處理器可讀儲存媒體(諸如圖3A的示例設備300中的記憶體306或圖10的示例設備1000中的記憶體1006)來實現,該等指令當由處理器(或控制器、信號處理器或另一合適的部件)執行時使設備執行以上描述的方法中的一或多個。非暫時性處理器可讀資料儲存媒體可以形成電腦程式產品的一部分,該電腦程式產品可以包括包裝材料。
非暫時性處理器可讀儲存媒體可以包括隨機存取記憶體(RAM),諸如同步動態隨機存取記憶體(SDRAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電子可抹除的可程式設計唯讀記憶體(EEPROM)、快閃記憶體、其他已知的儲存媒體等。此外或替代地,該等技術可以至少部分地由處理器可讀通訊媒體來實現,該處理器可讀通訊媒體以指令或資料結構的形式攜帶或傳送代碼,並且可以由電腦或其他處理器存取、讀取及/或執行。
結合本文揭示的實施例描述的各種說明性邏輯區塊、模組、電路和指令可以由一或多個處理器執行,諸如圖3A的示例設備300以及圖10的示例設備1000中的處理器305或1005或者圖像信號處理器312或1012。此類處理器可以包括但不限於一或多個數位訊號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、專用指令集處理器(ASIP)、現場可程式設計閘陣列(FPGA)或其他等效集成或離散邏輯電路。如本文中使用的,術語「處理器」可以指前述結構中的任一個或適於實現本文描述的技術的任何其他結構。另外,在一些態樣中,可以在如本文所描述的一般配置的專用軟體模組或硬體模組內提供本文描述的功能。此外,可以在一或多個電路或邏輯元件中完全實現該等技術。通用處理器可以是微處理器,但替代地,處理器可以是任何習知處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合,例如,DSP和微處理器的組合、複數個微處理器、與DSP核心結合的一或多個微處理器,或任何其他此種配置。
儘管本揭示圖示說明性態樣,但是應當注意,在不脫離所附請求項的範圍的情況下,可以在本文中進行各種改變和修改。例如,儘管描繪了圖像感測器和發射器的特定方位,但是該等部件的方位可以是其他合適的方位。例如,一或多個發射器或者一或多個圖像感測器可以位於關於設備的任何合適的平面上(諸如與設備的任一側平行的平面,包括前方、後方、頂部、底部等,或者在由設備的兩個或兩個以上側面限定的平面之間的平面)。因此,本揭示不限於圖像感測器的特定方位或發射器的特定方位。在另一個實例中,儘管圖示光學元件沿著一個軸線的平移移動,但是平移移動可以沿著一或多個合適的軸線。在另一個實例中,儘管圖示光學元件沿著一個軸線的旋轉,但是光學元件的旋轉可以沿著任何合適數量的軸線發生。
此外,除非另外明確說明,否則根據本文描述的態樣的方法請求項的功能、步驟或動作不需要以任何特定順序來執行。例如,若由設備(諸如由包括控制器310或1010、處理器305或1005、信號處理器312或1012,或者光學元件304或1004的部件)執行,則所描述的示例操作的步驟可以以任何順序和以任何頻率來執行。此外,儘管可以以單數形式描述或要求保護元件或部件,但是可以預期複數形式,除非明確說明了對單數形式的限制。例如,光學元件可以被配置為支撐三個或更多個圖像感測器或發射器。
100:設備 102:第一圖像感測器 104:第二圖像感測器 106:第一光學路徑 108:第二光學路徑 110:第一光圈 112:第二光圈 114:光 116:光 118:顯示器 200:設備 202:感測器 204:感測器 206:第三光學路徑 208:第四光學路徑 210:第三光圈 212:第四光圈 214:光 216:光 218:顯示器 220:第一發射器 222:第一光學路徑 224:光 226:第一光圈 230:第二發射器 232:第二光學路徑 234:光 236:第二光圈 300:設備 301:第一光學路徑 302:第一圖像感測器 303:第二圖像感測器 304:光學元件 305:處理器 306:記憶體 308:指令 310:控制器 312:圖像信號處理器 314:顯示器 316:輸入/輸出(I/O)部件 318:電源供應器 320:第一光圈 322:第二光圈 324:第二光學路徑 326:感測器 330:設備 331:顯示器 332:第一光圈 334:第二光圈 335:設備 336:顯示器 337:第一光圈 338:第二光圈 339:距離 340:設備 341:第一光圈 342:第二光圈 343:距離 345:設備 346:顯示器 347:快門按鈕 348:攝像機切換 349:選擇工具 350:設備 351:顯示器 352:快門按鈕 353:選擇工具 360:設備 362:顯示器 364:第一光圈 366:第二光圈 368:第三光圈 370:第四光圈 400:設備 402:第一圖像感測器 404:第二圖像感測器 406:第一光學路徑 408:第二光學路徑 410:第一光圈 412:第二光圈 414:光學元件 416:致動器 418:部件 420:設備 422:第一圖像感測器 424:第二圖像感測器 426:第一光學路徑 428:第二光學路徑 430:第一光圈 432:第二光圈 434:光學元件 436:致動器 438:部件 440:設備 442:圖像感測器 444:第二圖像感測器 446:第一光學路徑 448:第二光學路徑 450:第一光圈 452:第二光圈 454:光學元件 456:致動器 458:部件 462:圖像感測器 464:圖像感測器 466:第三光學路徑 468:第四光學路徑 470:第三光圈 472:第四光圈 474:光學元件 476:致動器 478:部件 500:設備 502:第一圖像感測器 504:第二圖像感測器 506:第一光學路徑 508:第二光學路徑 510:第一光圈 512:第二光圈 514:光學元件 516:致動器 518:部件 520:設備 522:第一圖像感測器 524:第二圖像感測器 526:第一光學路徑 528:第二光學路徑 530:第一光圈 532:第二光圈 534:光學元件 536:致動器 538:部件 600:設備 601:設備 602:第一圖像感測器 603:第一圖像感測器 604:第二圖像感測器 605:第二圖像感測器 606:第一光學路徑 607:第一光學路徑 608:第二光學路徑 609:第二光學路徑 610:第一光圈 611:第一光圈 612:第二光圈 613:第二光圈 614:光學元件 615:光學元件 616:電觸點 617:電觸點 618:部件 619:部件 650:設備 652:第一圖像感測器 654:第二圖像感測器 656:第一光學路徑 658:第二光學路徑 660:第一光圈 662:第二光圈 664:光學元件 666:致動器 670:設備 672:第一圖像感測器 674:第二圖像感測器 676:第一光學路徑 678:第二光學路徑 680:第一光圈 686:光學元件 688:電觸點 690:電觸點 700:設備 701:設備 702:第一圖像感測器 703:第一圖像感測器 704:第二圖像感測器 705:第二圖像感測器 706:第一光學路徑 707:第一光學路徑 708:第二光學路徑 709:第二光學路徑 710:第一光圈 711:光圈 712:第二光圈 713:光圈 714:光學元件 716:致動器 717:致動器 718:透鏡 719:光學元件 720:透鏡 721:透鏡 722:透鏡 723:透鏡 724:致動器 725:透鏡 730:設備 731:設備 732:第一圖像感測器 733:第一圖像感測器 734:第二圖像感測器 735:第二圖像感測器 736:第一光學路徑 737:第一光學路徑 738:第二光學路徑 739:第二光學路徑 740:第一光圈 741:光圈 742:第二光圈 743:光圈 744:光學元件 745:光學元件 746:致動器 747:致動器 748:透鏡 749:可移動透鏡 750:設備 752:第一圖像感測器 754:第二圖像感測器 756:第一光學路徑 758:第二光學路徑 760:第一光圈 762:第二光圈 764:光學元件 766:致動器 767:致動器 768:透鏡 769:透鏡 770:設備 772:第一圖像感測器 774:第二圖像感測器 776:第一光學路徑 778:第二光學路徑 780:光圈 782:光圈 784:光學元件 786:致動器 787:透鏡 788:透鏡 789:致動器 800:操作 802:步驟 804:判定方塊 806:步驟 808:步驟 810:步驟 812:步驟 820:操作 822:步驟 824:判定方塊 826:步驟 828:步驟 830:步驟 832:步驟 900:操作 902,904,906,908,910,911,912,914,916:步驟 920:操作 922,924,926,928,930,932,934,936:步驟 950:操作 952,954,956,958,960:步驟 1000:設備 1001:第一光學路徑 1002:第一發射器 1003:第二發射器 1004:光學元件 1005:處理器 1006:記憶體 1008:指令 1010:控制器 1012:圖像信號處理器 1014:顯示器 1016:I/O部件 1018:電源供應器 1020:第一光圈 1022:第二光圈 1024:第二光學路徑 1100:活動深度感測系統 1102:發射器 1104:分佈 1106:場景 1106A:物件 1106B:物件 1108:接收器 1110:反射 1112:基線 1114:中心 1116:位置 1118:位置 1120:第一光圈 1122:第二光圈 1124:光源 1126:透鏡 1128:光調制器 1130:透鏡 1132:感測器 1134:距離 1136:距離 1200:直接TOF活動深度感測系統 1202:發射器 1204:光 1206:表面 1208:接收器 1210:圖像感測器 1212:反射 1214:光脈衝 1216:反射光脈衝 1218:時序 1220:時序 1222:往返時間 1300:間接TOF活動深度感測系統 1302:發射器 1304:光 1306:表面 1308:接收器 1310:圖像感測器 1312:反射 1314:發射正弦信號 1316:反射正弦信號 1318:發射正弦時序 1320:反射正弦時序 1322:相位差 1400:設備 1402:第一發射器 1404:圖像感測器 1406:第一光學路徑 1408:第二光學路徑 1410:第一光圈 1412:第二光圈 1414:光學元件 1416:致動器 1418:部件 1440:設備 1442:第一發射器 1444:第二發射器 1446:第一光學路徑 1448:第二光學路徑 1450:第一光圈 1452:第二光圈 1454:光學元件 1456:致動器 1458:部件 1462:第一圖像感測器 1464:第二圖像感測器 1466:第三光學路徑 1468:第四光學路徑 1470:光圈 1472:光圈 1474:光學元件 1476:致動器 1478:部件 1500:設備 1502:第一發射器 1504:第二發射器 1506:第一光學路徑 1508:光學路徑 1510:第一光圈 1512:第二光圈 1514:光學元件 1516:致動器 1540:部件 1600:設備 1602:第一發射器 1604:圖像感測器或第二發射器 1606:第一光學路徑 1608:第二光學路徑 1610:光圈 1612:光圈 1614:光學元件 1616:電觸點 1650:設備 1652:第一發射器 1654:第二發射器 1656:第一光學路徑 1658:第二光學路徑 1660:第一光圈 1662:第二光圈 1664:光學元件 1666:致動器 1670:設備 1672:第一發射器 1674:第二發射器 1676:第一光學路徑 1678:第二光學路徑 1680:第一光圈 1686:光學元件 1688:電觸頭 1690:電觸頭 1700:操作 1702:步驟 1704:判定方塊 1706,1708,1710,1712:步驟 1720:操作 1722:判定方塊 1724:判定方塊 1726,1728,1730:步驟 1800:操作 1802,1804,1806,1808,1809,1810,1812:步驟
在附圖的圖中藉由實例而非限制的方式示出本揭示的態樣,並且其中相似的元件符號指示相似的元件。
圖1圖示設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器以及與第二光學路徑相關聯的第二圖像感測器。
圖2圖示設備部分的橫截面,其示出用於與第一光學路徑相關聯的活動深度感測的第一發射器以及用於與第二光學路徑相關聯的活動深度感測的第二發射器。
圖3A圖示包括共享第一光學路徑的第一圖像感測器和第二圖像感測器的示例設備的方塊圖。
圖3B圖示在第一側上具有第一光圈以及在第二側上具有第二光圈的設備的圖示。
圖3C圖示在包括顯示器的側面上具有第一光圈和第二光圈的設備的圖示。
圖3D圖示在與顯示器相對的側面上具有第一光圈和第二光圈的設備的圖示。
圖3E圖示在從設備的第一側與從設備的第二側的圖像擷取之間切換的設備的圖示。
圖3F圖示針對設備所擷取的圖像調節FOV或縮放因數的設備的圖示。
圖3G圖示在包括顯示器的側面上具有第一光圈和第三光圈並且在與顯示器相對的側面上具有第二光圈和第四光圈的設備的圖示。
圖4A圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖4B圖示圖4A中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器。
圖4C圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖4D圖示圖4C中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器。
圖4E圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器以及與第三光學路徑相關聯的第三圖像感測器。
圖4F圖示圖4E中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器以及與第三光學路徑相關聯的第四圖像感測器。
圖5A圖示示例設備部分的橫截面,其示出當設備處於第一OE模式時與第一光學路徑相關聯的第一圖像感測器。
圖5B圖示圖5A中的示例設備部分的橫截面,其示出當設備處於第二OE模式時與第一光學路徑相關聯的第二圖像感測器。
圖5C圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖5D圖示圖5C中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器。
圖6A圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖6B圖示圖6A中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器。
圖6C圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖6D圖示圖6C中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二圖像感測器。
圖6E圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖6F圖示圖6E中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一圖像感測器。
圖6G圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一圖像感測器。
圖6H圖示圖6G中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一圖像感測器。
圖7A圖示示例設備部分的橫截面,其示出用以調節用於圖像擷取的視場(FOV)的與一或多個透鏡相關聯的第一圖像感測器和第二圖像感測器。
圖7B圖示示例設備部分的橫截面,其示出與可移動透鏡相關聯的第二圖像感測器。
圖7C圖示示例設備部分的橫截面,其示出可移動的第二圖像感測器。
圖7D圖示示例設備部分的橫截面,其示出用以調節用於圖像擷取的視場(FOV)的與一或多個透鏡相關聯的第一圖像感測器和第二圖像感測器。
圖7E圖示示例設備部分的橫截面,其示出與可移動透鏡相關聯的第二圖像感測器。
圖7F圖示示例設備部分的橫截面,其示出可移動的第二圖像感測器。
圖8A圖示描繪第一圖像感測器和第二圖像感測器共享第一光學路徑的示例操作的說明性流程圖。
圖8B圖示描繪圖8中的第一圖像感測器和第二圖像感測器共享第二光學路徑的示例操作的說明性流程圖。
圖9A圖示描繪用於圖像擷取的示例操作的說明性流程圖。
圖9B圖示描繪用於控制光學元件的示例操作的說明性流程圖。
圖9C圖示描繪用於基於設備方位來控制光學元件的示例操作的說明性流程圖。
圖10圖示包括當設備處於第一模式時耦合到第一光學路徑以及當設備處於第二模式時耦合到第二光學路徑的用於活動深度感測的第一發射器的示例設備的方塊圖。
圖11圖示包括用於發射光分佈的發射器的示例活動深度感測系統的圖示。
圖12圖示包括發射器的直接飛行時間(TOF)活動深度感測系統的圖示。
圖13圖示包括發射器的間接TOF活動深度感測系統的圖示。
圖14A圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器。
圖14B圖示圖14A中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一發射器。
圖14C圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器以及與第三光學路徑相關聯的第一圖像感測器。
圖14D圖示圖14C中的示例設備部分的橫截面,其示出與第一光學路徑相關聯的第二發射器以及與第三光學路徑相關聯的第二圖像感測器。
圖15A圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器。
圖15B圖示圖15A中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一發射器。
圖16A圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器。
圖16B圖示圖16A中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一發射器。
圖16C圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器。
圖16D圖示圖16C中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一發射器。
圖16E圖示示例設備部分的橫截面,其示出與第一光學路徑相關聯的第一發射器。
圖16F圖示圖16E中的示例設備部分的橫截面,其示出與第二光學路徑相關聯的第一發射器。
圖17A圖示描繪用於藉由設備進行活動深度感測的示例操作的說明性流程圖。
圖17B圖示描繪用於藉由被配置用於多個設備模式的設備進行活動深度感測的示例操作的說明性流程圖。
圖18圖示描繪控制光學元件以用於活動深度感測的示例操作的說明性流程圖。
900:操作
902,904,906,908,910,911,912,914,916:步驟

Claims (30)

  1. 一種用於數位成像的設備,包括: 一第一光圈,被配置為沿著一第一光學路徑引導光; 一第二光圈,被配置為沿著一第二光學路徑引導光; 一第一圖像感測器; 一第二圖像感測器;及 一光學元件,被配置為: 在一第一光學元件(OE)模式下將來自該第一光學路徑的光引導朝向該第一圖像感測器,其中該第二圖像感測器在一第二OE模式下接收來自該第一光學路徑的光;及 在該第一OE模式下將來自該第二光學路徑的光引導朝向該第二圖像感測器,其中該第一圖像感測器在該第二OE模式下接收來自該第二光學路徑的光。
  2. 如請求項1所述的設備,其中該光學元件被配置為: 在該第一OE模式下將來自該第一光學路徑的該光引導朝向該第一圖像感測器;及 在該第二OE模式下允許來自該第一光學路徑的該光穿過該光學元件。
  3. 如請求項2所述的設備,其中該光學元件進一步被配置為: 在該第一OE模式下將來自該第二光學路徑的該光引導朝向該第二圖像感測器;及 在該第二OE模式下允許來自該第二光學路徑的該光穿過該光學元件。
  4. 如請求項2所述的設備,進一步包括一致動器,其被配置為在和該第一OE模式相關聯的一第一位置與和該第二OE模式相關聯的一第二位置之間移動該光學元件。
  5. 如請求項4所述的設備,其中該致動器被配置為關於來自該第一光學路徑的該光的一方向在一第一方位與一第二方位之間旋轉該光學元件。
  6. 如請求項5所述的設備,其中該光學元件的一透明度和一反射率基於該光學元件關於該第一光學路徑的一方位。
  7. 如請求項2所述的設備,進一步包括一電流源,被配置為將一電流施加到該光學元件,其中該光學元件的一透明度和一反射率基於被施加到該光學元件的一電流量。
  8. 如請求項1所述的設備,其中該第一圖像感測器包括一較低功率圖像感測器,並且該第二圖像感測器包括一較高功率圖像感測器。
  9. 如請求項1所述的設備,進一步包括一顯示器,其中: 該第一光圈位於該設備的一第一側上,其中該第一側包括該顯示器;及 該第二光圈位於該設備的與該第一側不同的一第二側上。
  10. 如請求項1所述的設備,其中該光學元件處於該第一OE模式還是該第二OE模式是基於該設備的一方位。
  11. 如請求項1所述的設備,進一步包括: 一透鏡,被配置為將光聚焦朝向該第一圖像感測器或該第二圖像感測器;及 一致動器,被配置為關於該第一圖像感測器的一位置或該第二圖像感測器的一位置來調節該透鏡的一位置。
  12. 如請求項1所述的設備,進一步包括: 一圖像信號處理器,被配置為處理從該第一圖像感測器和該第二圖像感測器接收的圖像; 一應用處理器,被配置為向該圖像信號處理器提供指令;及 一記憶體,被配置為儲存該等處理的圖像。
  13. 一種用於藉由包括一第一光圈、一第一圖像感測器、一第二圖像感測器和一光學元件的一設備執行的數位成像的方法,該方法包括以下步驟: 辨識該設備將處於一第一設備模式還是一第二設備模式;及 基於所辨識的該設備模式控制該光學元件,其中: 該光學元件在一第一光學元件(OE)模式下將來自該第一光圈的光引導至該第一圖像感測器;及 當該光學元件處於該第二OE模式時,來自該第一光圈的光被引導至該第二圖像感測器。
  14. 如請求項13所述的方法,其中控制該光學元件包括以下步驟: 基於所辨識的該設備模式來辨識該光學元件將處於該第一OE模式還是該第二OE模式;及 基於所辨識的該OE模式調節該光學元件。
  15. 如請求項14所述的方法,其中辨識該光學元件將處於該第一OE模式還是該第二OE模式進一步基於該設備的一方位。
  16. 如請求項14所述的方法,其中調節該光學元件包括以下步驟中的一或多個: 旋轉該光學元件; 平移該光學元件;或者 將一電流施加到該光學元件。
  17. 如請求項16所述的方法,其中基於調節該光學元件來調節該光學元件的一透明度和一反射率。
  18. 如請求項13所述的方法,其中基於指示一設備模式的一使用者輸入來辨識該設備將處於該第一設備模式還是該第二設備模式。
  19. 如請求項13所述的方法,其中辨識該設備將處於該第一設備模式還是該第二設備模式基於以下中的一或多個: 用於圖像擷取的一視場,其中該第一圖像感測器與一第一視場相關聯,並且該第二圖像感測器與一第二視場相關聯; 用於圖像擷取的一縮放因數,其中該第一圖像感測器與一第一縮放因數相關聯,並且該第二圖像感測器與一第二縮放因數相關聯;或者 用於圖像擷取的一景深,其中該第一圖像感測器與一第一景深相關聯,並且該第二圖像感測器與一第二景深相關聯。
  20. 如請求項19所述的方法,其中辨識該設備將處於該第一設備模式還是該第二設備模式包括以下步驟: 比較以下中的一或多個: 將用於圖像擷取的該視場與該第一視場和該第二視場之間的一閾值視場進行比較; 將用於圖像擷取的該縮放因數與該第一縮放因數和該第二縮放因數之間的一閾值縮放因數進行比較;或者 將用於圖像擷取的該景深與該第一景深和該第二景深之間的一閾值景深進行比較;及 基於該比較選擇該第一設備模式或該第二設備模式。
  21. 如請求項13所述的方法,進一步包括以下步驟: 藉由該光學元件引導以下中的一或多個: 在該第一OE模式下將來自該第一光圈的光引導至該第一圖像感測器;或者 在該第二OE模式下將來自該第一光圈的光引導至該第二圖像感測器;及 擷取以下中的一或多個: 在該第一設備模式期間從被引導至該第一圖像感測器的該光擷取一第一圖像;或者 在該第二設備模式期間從被引導至該第二圖像感測器的該光擷取一第二圖像。
  22. 如請求項21所述的方法,進一步包括藉由該光學元件引導以下中的一或多個: 在該第一OE模式下將來自該設備的一第二光圈的光引導至該第二圖像感測器;或者 在該第二OE模式下將來自該第二光圈的光引導至該第一圖像感測器。
  23. 一種儲存指令的非暫時性電腦可讀取媒體,該等指令在由包括一第一光圈、一第一圖像感測器、一第二圖像感測器和一光學元件的一設備的一或多個處理器執行時使該設備: 辨識該設備將處於一第一設備模式還是一第二設備模式;及 基於所辨識的該設備模式控制該光學元件,其中: 該光學元件在一第一光學元件(OE)模式下將來自該第一光圈的光引導至該第一圖像感測器;及 當該光學元件處於該第二OE模式時,來自該第一光圈的光被引導至該第二圖像感測器。
  24. 如請求項23所述的電腦可讀取媒體,其中執行該等指令來控制該光學元件使該設備: 基於所辨識的該設備模式來辨識該光學元件將處於該第一OE模式還是該第二OE模式;及 基於所辨識的該OE模式調節該光學元件。
  25. 如請求項24所述的電腦可讀取媒體,其中辨識該光學元件將處於該第一OE模式還是該第二OE模式進一步基於該設備的一方位。
  26. 如請求項24所述的電腦可讀取媒體,其中調節該光學元件包括以下中的一或多個: 旋轉該光學元件; 平移該光學元件;或者 將一電流施加到該光學元件。
  27. 如請求項23所述的電腦可讀取媒體,其中基於指示一設備模式的一使用者輸入來辨識該設備將處於該第一設備模式還是該第二設備模式。
  28. 如請求項23所述的電腦可讀取媒體,其中辨識該設備將處於該第一設備模式還是該第二設備模式基於以下中的一或多個: 用於圖像擷取的一視場,其中該第一圖像感測器與一第一視場相關聯,並且該第二圖像感測器與一第二視場相關聯; 用於圖像擷取的一縮放因數,其中該第一圖像感測器與一第一縮放因數相關聯,並且該第二圖像感測器與一第二縮放因數相關聯;或者 用於圖像擷取的一景深,其中該第一圖像感測器與一第一景深相關聯,並且該第二圖像感測器與一第二景深相關聯。
  29. 如請求項28所述的電腦可讀取媒體,其中執行指令以辨識該設備將處於該第一設備模式還是該第二設備模式使該設備: 比較以下中的一或多個: 將用於圖像擷取的該視場與該第一視場和該第二視場之間的一閾值視場進行比較; 將用於圖像擷取的該縮放因數與該第一縮放因數和該第二縮放因數之間的一閾值縮放因數進行比較;或者 將用於圖像擷取的該景深與該第一景深和該第二景深之間的一閾值景深進行比較;及 基於該比較選擇該第一設備模式或該第二設備模式。
  30. 如請求項23所述的電腦可讀取媒體,其中執行該等指令進一步使該設備: 藉由該光學元件引導以下中的一或多個: 在該第一OE模式下將來自該第一光圈的光引導至該第一圖像感測器;或者 在該第二OE模式下將來自該第一光圈的光引導至該第二圖像感測器;及 擷取以下中的一或多個: 在該第一設備模式期間從被引導至該第一圖像感測器的該光擷取一第一圖像;或者 在該第二設備模式期間從被引導至該第二圖像感測器的該光擷取一第二圖像。
TW110107004A 2020-04-03 2021-02-26 用於活動深度感測技術的多種光學路徑成像技術和共享發射器 TW202207689A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202063004970P 2020-04-03 2020-04-03
US63/004,970 2020-04-03
US202063010447P 2020-04-15 2020-04-15
US63/010,447 2020-04-15
US16/891,138 2020-06-03
US16/891,138 US11394860B2 (en) 2020-04-03 2020-06-03 Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Publications (1)

Publication Number Publication Date
TW202207689A true TW202207689A (zh) 2022-02-16

Family

ID=77921670

Family Applications (2)

Application Number Title Priority Date Filing Date
TW110107004A TW202207689A (zh) 2020-04-03 2021-02-26 用於活動深度感測技術的多種光學路徑成像技術和共享發射器
TW110107032A TW202147255A (zh) 2020-04-03 2021-02-26 用於活動深度感測技術的多種光學路徑成像技術和共享發射器

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW110107032A TW202147255A (zh) 2020-04-03 2021-02-26 用於活動深度感測技術的多種光學路徑成像技術和共享發射器

Country Status (6)

Country Link
US (2) US11394860B2 (zh)
EP (2) EP4128738B1 (zh)
KR (2) KR20220164481A (zh)
CN (2) CN115280751B (zh)
TW (2) TW202207689A (zh)
WO (2) WO2021202020A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312055B (zh) * 2019-07-26 2021-11-09 华为技术有限公司 电子设备及图像处理方法
CN114500808A (zh) * 2019-08-14 2022-05-13 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
KR20220015039A (ko) * 2020-07-30 2022-02-08 에스케이하이닉스 주식회사 이미지 처리 시스템
US11297260B1 (en) * 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
TWI793851B (zh) * 2021-07-16 2023-02-21 大立光電股份有限公司 具有雙通光區域的電子裝置
CN115734059A (zh) * 2021-08-25 2023-03-03 晋城三赢精密电子有限公司 双镜头摄像模组
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101278239B1 (ko) 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
JP5128245B2 (ja) 2007-11-13 2013-01-23 Hoya株式会社 撮像装置
EP2202613A1 (en) * 2008-12-18 2010-06-30 Chung Shan Institute of Science and Technology Image invariant optical speckle capturing device and method
US8439265B2 (en) 2009-06-16 2013-05-14 Intel Corporation Camera applications in a handheld device
KR101822661B1 (ko) * 2011-10-27 2018-01-26 삼성전자주식회사 비전 인식 장치 및 방법
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
TW201415879A (zh) 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
US20140218587A1 (en) * 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
TWI589979B (zh) * 2013-05-02 2017-07-01 群邁通訊股份有限公司 雙向鏡頭模組、相機模組及使用該相機模組的電子裝置
US9335452B2 (en) * 2013-09-30 2016-05-10 Apple Inc. System and method for capturing images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9851527B2 (en) 2013-10-18 2017-12-26 Light Labs Inc. Methods and apparatus for capturing and/or combining images
US10057509B2 (en) 2014-05-30 2018-08-21 Flir Systems, Inc. Multiple-sensor imaging system
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
CN105530418B (zh) 2015-02-13 2019-09-27 福州瑞芯微电子股份有限公司 便携式电子设备,及其中的摄像结构
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
KR20170032761A (ko) 2015-09-15 2017-03-23 엘지전자 주식회사 이동 단말기
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
WO2017120341A1 (en) * 2016-01-06 2017-07-13 Vuzix Corporation Double-sided imaging light guide
CN107219710B (zh) 2016-03-21 2020-12-08 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
US11307430B2 (en) * 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10502618B2 (en) * 2016-12-03 2019-12-10 Waymo Llc Waveguide diffuser for light detection using an aperture
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
US10901310B2 (en) * 2018-07-24 2021-01-26 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
CN208569285U (zh) 2018-08-02 2019-03-01 南昌欧菲生物识别技术有限公司 投影模组、光电装置及电子设备
CN110475053A (zh) 2019-08-14 2019-11-19 Oppo(重庆)智能科技有限公司 电子设备
CN114500808A (zh) 2019-08-14 2022-05-13 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Also Published As

Publication number Publication date
US20210314466A1 (en) 2021-10-07
KR20220164480A (ko) 2022-12-13
CN115280751B (zh) 2024-04-05
CN115280752A (zh) 2022-11-01
CN115280751A (zh) 2022-11-01
EP4128740A1 (en) 2023-02-08
WO2021202020A1 (en) 2021-10-07
US11277551B2 (en) 2022-03-15
EP4128738A1 (en) 2023-02-08
TW202147255A (zh) 2021-12-16
US20210314467A1 (en) 2021-10-07
US11394860B2 (en) 2022-07-19
EP4128738B1 (en) 2024-05-08
KR20220164481A (ko) 2022-12-13
WO2021202021A1 (en) 2021-10-07
CN115280752B (zh) 2024-05-14

Similar Documents

Publication Publication Date Title
US11394860B2 (en) Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
CN109379454B (zh) 电子设备
CN112513569B (zh) 用于泛光照明和主动深度感测的可调节光投射器
US9176598B2 (en) Free-space multi-dimensional absolute pointer with improved performance
WO2020057205A1 (zh) 屏下光学系统、衍射光学元件的设计方法及电子设备
WO2020057204A1 (zh) 补偿显示屏、屏下光学系统及电子设备
KR102568462B1 (ko) 적어도 하나의 대상체의 위치를 결정하는 검출기
US8654234B2 (en) Bi-directional screen
EP2622847B1 (en) Integrated low power depth camera and projection device
WO2020057207A1 (zh) 电子设备
WO2020057206A1 (zh) 屏下光学系统及电子设备
US10687034B1 (en) Image sensor with switchable optical filter
JP2000241131A (ja) レンジファインダ装置および撮像装置
WO2020238491A1 (zh) 电子装置的控制方法及电子装置
US10534975B1 (en) Multi-frequency high-precision object recognition method
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method
US20110303832A1 (en) Spatial Detection on an Electronic Device Using Optical Coding
EP4022355A1 (en) 3d active depth sensing with laser pulse train bursts and a gated sensor