KR20220164481A - 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터 - Google Patents

다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터 Download PDF

Info

Publication number
KR20220164481A
KR20220164481A KR1020227031824A KR20227031824A KR20220164481A KR 20220164481 A KR20220164481 A KR 20220164481A KR 1020227031824 A KR1020227031824 A KR 1020227031824A KR 20227031824 A KR20227031824 A KR 20227031824A KR 20220164481 A KR20220164481 A KR 20220164481A
Authority
KR
South Korea
Prior art keywords
mode
image sensor
optical element
light
aperture
Prior art date
Application number
KR1020227031824A
Other languages
English (en)
Inventor
마이클 크레이머
세이풀라 할리트 오구즈
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20220164481A publication Critical patent/KR20220164481A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/106—Beam splitting or combining systems for splitting or combining a plurality of identical beams or images, e.g. image replication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/14—Beam splitting or combining systems operating by reflection only
    • G02B27/141—Beam splitting or combining systems operating by reflection only using dichroic mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/14—Mountings, adjusting means, or light-tight connections, for optical elements for lenses adapted to interchange lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/30—Focusing aids indicating depth of field
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G03B17/17—Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G03B17/20—Signals indicating condition of a camera member or suitability of light visible in viewfinder
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/18—Motion-picture cameras
    • G03B19/22—Double cameras
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H04N5/2254—
    • H04N5/2256—
    • H04N5/2257—
    • H04N5/2258—
    • H04N5/23245—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/006—Filter holders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0046—Movement of one or more optical elements for zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

본 개시의 양태들은 다중 애퍼처들에 의해 공유되는 능동 심도 감지를 위한 이미터에 관한 것이다. 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 디바이스에 의한 능동 심도 감지를 위한 예시적인 방법은, 광학 엘리먼트가 제 1 광학 엘리먼트 (OE) 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계, 및 식별된 OE 모드에 기초하여 광학 엘리먼트를 제어하는 단계를 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시킨다. 광은 제 2 OE 모드에서 제 1 이미터로부터 제 2 애퍼처를 향해 지향된다.

Description

다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터
본 개시는 일반적으로 이미징을 위한 광학 경로들을 공유하는 다중 이미지 센서들을 포함하는 장치와 같은 이미지 캡처 시스템들 및 디바이스들에 관한 것이다. 본 개시는 또한 일반적으로 다중 애퍼처들에 의해 공유되는 능동 심도 감지를 위한 이미터를 포함하는 장치와 같은 능동 심도 감지 시스템들 및 디바이스들에 관한 것이다.
많은 디바이스들은 다중 카메라들을 포함할 수도 있다. 예를 들어, 스마트폰은 하나 이상의 후면 (rear facing) 카메라들 및 하나 이상의 전면 (front facing) 카메라들을 포함할 수도 있다. 각각의 카메라는 이미지를 캡처하기 위한 이미지 센서 및 연관된 컴포넌트들을 포함한다. 예를 들어, 디바이스가 2 개 이상의 카메라들을 포함하는 경우, 디바이스는 2 개 이상의 이미지 센서들을 포함하고, 각각의 이미지 센서는 이미징을 위한 그 자신의 전용 광학 경로와 연관된다.
많은 디바이스들은 또한 다중 능동 심도 감지 시스템들을 포함할 수도 있다. 예를 들어, 스마트폰은 (이를 테면 심도 정보를 사용하는 얼굴 잠금해제 또는 다른 애플리케이션들을 위한) 전면 능동 심도 감지 송신기 및 (이를 테면 심도 맵을 생성하기 위한, 하나 이상의 후면 카메라들에 대한 자동초점을 돕기 위한, 등등의) 후면 능동 심도 감지 송신기를 포함할 수도 있다. 각각의 능동 심도 감지 송신기는 능동 심도 감지를 위한 광을 방출하기 위한 그 자신의 전용 광학 경로와 연관된다.
이 개요는 이하 상세한 설명에서 추가로 설명되는 개념들의 선택을 간략화된 형태로 도입하기 위해 제공된다. 이 개요는, 청구된 주제의 핵심적인 피처들 또는 본질적인 피처들을 식별하도록 의도되지도 않고, 청구된 주제의 범위를 제한하도록 의도되지도 않는다.
본 개시의 일부 양태들은 이미지 센서들 사이의 공유된 광학 경로에 관한 것이다. 디지털 이미징을 위한 예시적인 디바이스는 제 1 애퍼처, 제 1 이미지 센서, 제 2 이미지 센서, 및 광학 엘리먼트를 포함한다. 제 1 광학 경로는 제 2 이미지 센서와 제 1 애퍼처 사이에 형성된다. 광학 엘리먼트는 제 1 광학 엘리먼트 (OE) 모드에서 제 1 광학 경로로부터의 광을 제 1 이미지 센서를 향해 지향시키도록 구성된다. 제 2 이미지 센서는 제 2 OE 모드에서 제 1 광학 경로로부터 광을 수신한다.
일부 구현들에서, 디바이스는 또한 제 2 애퍼처를 포함한다. 제 2 광학 경로는 제 1 이미지 센서와 제 2 애퍼처 사이에 형성된다. 광학 엘리먼트는 제 1 OE 모드에서 제 2 광학 경로로부터의 광을 제 2 이미지 센서를 향해 지향시키도록 추가로 구성된다. 제 1 이미지 센서는 제 2 OE 모드에서 제 2 광학 경로로부터 광을 수신한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 광학 경로로부터의 광을 제 1 이미지 센서를 향해 지향시키고, 그리고 제 2 OE 모드에서 제 1 광학 경로로부터의 광이 광학 엘리먼트를 통과하게 하도록 구성될 수도 있다. 광학 엘리먼트는 제 1 OE 모드에서 제 2 광학 경로로부터의 광을 제 2 이미지 센서를 향해 지향시키고, 그리고 제 2 OE 모드에서 제 2 광학 경로로부터의 광이 광학 엘리먼트를 통과하게 하도록 추가로 구성될 수도 있다.
디바이스는 제 1 OE 모드와 연관된 제 1 포지션과 제 2 OE 모드와 연관된 제 2 포지션 사이에서 광학 엘리먼트를 이동시키도록 구성된 액추에이터를 포함할 수도 있다. 일부 구현들에서, 액추에이터는 제 1 광학 경로로부터의 광의 방향과 관련하여 제 1 배향과 제 2 배향 사이에서 광학 엘리먼트를 회전시키도록 구성되고, 광학 엘리먼트의 투명도 및 반사도는 제 1 광학 경로와 관련한 광학 엘리먼트의 배향에 기초할 수도 있다. 디바이스는 광학 엘리먼트에 전류를 인가하도록 구성된 전류 소스를 포함할 수도 있고, 광학 엘리먼트의 투명도 및 반사도는 광학 엘리먼트에 인가된 전류의 양에 기초할 수도 있다. 일부 구현들에서, 제 1 이미지 센서는 컬러 이미지 센서를 포함하고, 제 2 이미지 센서는 단색 이미지 센서, 적외선 이미지 센서, 또는 제 1 이미지 센서와 상이한 해상도를 갖는 이미지 센서 중 하나를 포함한다. 일부 구현들에서, 제 1 이미지 센서는 저전력 이미지 센서를 포함하고, 제 2 이미지 센서는 고전력 이미지 센서를 포함한다. 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 고전력 이미지 센서보다 더 적은 전력을 소비한다.
제 1 애퍼처 및 제 2 애퍼처는 디바이스의 제 1 측면 상에 포지셔닝될 수도 있다. 대안적으로, 제 1 애퍼처는 디바이스의 제 1 측면 상에 포지셔닝될 수도 있고, 제 2 애퍼처는 디바이스의 제 2 측면 상에 포지셔닝될 수도 있다. 일부 구현들에서, 제 1 애퍼처는 디스플레이를 포함하는 제 1 측면 상에 포지셔닝되고, 제 2 애퍼처는 제 1 측면과 상이한 디바이스의 제 2 측면 상에 포지셔닝된다. 광학 엘리먼트가 제 1 OE 모드에 있는지 또는 제 2 OE 모드에 있는지는 디바이스의 배향에 기초할 수도 있다. 디바이스는 제 1 이미지 센서 또는 제 2 이미지 센서를 향해 광을 포커싱하도록 구성된 렌즈 및 제 1 이미지 센서의 포지션 또는 제 2 이미지 센서의 포지션과 관련하여 렌즈의 포지션을 조정하도록 구성된 액추에이터를 포함할 수도 있다. 디바이스는 또한, 제 1 이미지 센서 및 제 2 이미지 센서로부터 수신된 이미지들을 프로세싱하도록 구성된 이미지 신호 프로세서, 이미지 신호 프로세서에 명령들을 제공하도록 구성된 애플리케이션 프로세서, 및 프로세싱된 이미지들을 저장하도록 구성된 메모리를 포함할 수도 있다.
다른 예에서, 제 1 애퍼처, 제 1 이미지 센서, 제 2 이미지 센서, 및 광학 엘리먼트를 포함하는 디바이스에 의한 디지털 이미징을 위한 방법이 개시된다. 예시적인 방법은 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계 및 식별된 디바이스 모드에 기초하여 광학 엘리먼트를 제어하는 단계를 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 애퍼처로부터의 광을 제 1 이미지 센서로 지향시킨다. 제 1 애퍼처로부터의 광은, 광학 엘리먼트가 제 2 OE 모드에 있을 때 제 2 이미지 센서로 지향된다. 광학 엘리먼트를 제어하는 단계는, 식별된 디바이스 모드에 기초하여 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계 및 식별된 OE 모드에 기초하여 광학 엘리먼트를 조정하는 단계를 포함할 수도 있다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 디바이스의 배향에 추가로 기초할 수도 있다. 광학 엘리먼트를 조정하는 단계는 광학 엘리먼트를 회전시키는 단계, 광학 엘리먼트를 병진 이동시키는 단계, 또는 광학 엘리먼트에 전류를 인가하는 단계 중 하나 이상을 포함할 수도 있다. 일부 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계는 디바이스 모드를 표시하는 사용자 입력에 기초한다. 일부 다른 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계는, 이미지 캡처를 위한 시야; 이미지 캡처를 위한 줌 팩터; 이미지 캡처를 위한 피사계 심도 (depth of field); 또는 디바이스 배향 (이를 테면 가로 또는 세로 배향) 중 하나 이상에 기초한다. 제 1 이미지 센서는 제 1 시야와 연관될 수도 있고, 제 2 이미지 센서는 제 2 시야와 연관될 수도 있다. 제 1 이미지 센서는 제 1 줌 팩터와 연관될 수도 있고, 제 2 이미지 센서는 제 2 줌 팩터와 연관될 수도 있다. 제 1 이미지 센서는 제 1 피사계 심도와 연관될 수도 있고, 제 2 이미지 센서는 제 2 피사계 심도와 연관될 수도 있다. 일부 구현들에서, 디바이스는 디바이스가 제 1 배향을 갖는 것에 기초하여 제 1 디바이스 모드에 있다. 디바이스는 디바이스가 제 1 배향과 상이한 제 2 배향을 갖는 것에 기초하여 제 2 디바이스 모드에 있을 수도 있다.
디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계는, 이미지 캡처를 위한 시야와, 제 1 시야와 제 2 시야 사이의 임계 시야; 이미지 캡처를 위한 줌 팩터와, 제 1 줌 팩터와 제 2 줌 팩터 사이의 임계 줌 팩터; 또는 이미지 캡처를 위한 피사계 심도와, 제 1 피사계 심도와 제 2 피사계 심도 사이의 임계 피사계 심도 중 하나 이상을 비교하는 단계를 포함할 수도 있다. 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계는 디바이스의 배향을 검출하는 단계를 포함할 수도 있다. 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 단계는 또한, 비교 또는 검출에 기초하여 제 1 디바이스 모드 또는 제 2 디바이스 모드를 선택하는 단계를 포함할 수도 있다.
방법은 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 1 애퍼처로부터 제 1 이미지 센서로의 광; 또는 제 2 OE 모드에서 제 1 애퍼처로부터 제 2 이미지 센서로의 광 중 하나 이상을 지향시키는 단계를 더 포함할 수도 있다. 방법은 또한, 제 1 디바이스 모드 동안 제 1 이미지 센서로 지향된 광으로부터의 제 1 이미지; 또는 제 2 디바이스 모드 동안 제 2 이미지 센서로 지향된 광으로부터의 제 2 이미지 중 하나 이상을 캡처하는 단계를 포함할 수도 있다. 방법은 또한, 제 2 디바이스 모드 동안 제 2 이미지 센서로 지향된 광으로부터 제 2 이미지를 캡처하는 단계를 포함할 수도 있다. 방법은 광학 엘리먼트에 의해, 제 1 OE 모드에서 디바이스의 제 2 애퍼처로부터 제 2 이미지 센서로의 광; 또는 제 2 OE 모드에서 제 2 애퍼처로부터 제 1 이미지 센서로의 광 중 하나 이상을 지향시키는 단계를 더 포함할 수도 있다.
추가의 예에서, 컴퓨터 판독가능 매체가 개시된다. 컴퓨터 판독가능 매체는, 제 1 애퍼처, 제 1 이미지 센서, 제 2 이미지 센서, 및 광학 엘리먼트를 포함하는 디바이스의 하나 이상의 프로세서들에 의해 실행될 경우, 디바이스로 하여금, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하게 하고, 그리고 식별된 디바이스 모드에 기초하여 광학 엘리먼트를 제어하게 하는 명령들을 저장할 수도 있다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 애퍼처로부터의 광을 제 1 이미지 센서로 지향시킨다. 제 1 애퍼처로부터의 광은, 광학 엘리먼트가 제 2 OE 모드에 있을 때 제 2 이미지 센서로 지향된다. 일부 구현들에서, 광학 엘리먼트를 제어하기 위한 명령들의 실행은, 디바이스로 하여금, 식별된 디바이스 모드에 기초하여 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하게 하고, 그리고 식별된 OE 모드에 기초하여 광학 엘리먼트를 조정하게 한다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 디바이스의 배향에 추가로 기초할 수도 있다. 광학 엘리먼트를 조정하는 것은 광학 엘리먼트를 회전시키는 것, 광학 엘리먼트를 병진 이동시키는 것, 또는 광학 엘리먼트에 전류를 인가하는 것 중 하나 이상을 포함할 수도 있다.
일부 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 것은 디바이스 모드를 표시하는 사용자 입력에 기초한다. 일부 다른 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 것은, 이미지 캡처를 위한 시야; 이미지 캡처를 위한 줌 팩터; 이미지 캡처를 위한 피사계 심도; 또는 가로 또는 세로와 같은 디바이스 배향 중 하나 이상에 기초한다. 제 1 이미지 센서는 제 1 시야와 연관될 수도 있고, 제 2 이미지 센서는 제 2 시야와 연관될 수도 있다. 제 1 이미지 센서는 제 1 줌 팩터와 연관될 수도 있고, 제 2 이미지 센서는 제 2 줌 팩터와 연관될 수도 있다. 제 1 이미지 센서는 제 1 피사계 심도와 연관될 수도 있고, 제 2 이미지 센서는 제 2 피사계 심도와 연관될 수도 있다. 일부 구현들에서, 디바이스는 디바이스가 제 1 배향을 갖는 것에 기초하여 제 1 디바이스 모드에 있다. 디바이스는 디바이스가 제 1 배향과 상이한 제 2 배향을 갖는 것에 기초하여 제 2 디바이스 모드에 있을 수도 있다. 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하기 위한 명령들의 실행은, 디바이스로 하여금, 이미지 캡처를 위한 시야와, 제 1 시야와 제 2 시야 사이의 임계 시야; 이미지 캡처를 위한 줌 팩터와, 제 1 줌 팩터와 제 2 줌 팩터 사이의 임계 줌 팩터; 또는 이미지 캡처를 위한 피사계 심도와, 제 1 피사계 심도와 제 2 피사계 심도 사이의 임계 피사계 심도 중 하나 이상을 비교하게 할 수도 있다. 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하기 위한 명령들의 실행은, 디바이스로 하여금, 디바이스가 포지셔닝되는 배향을 대안적으로 검출하게 할 수도 있다. 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하기 위한 명령들의 실행은 또한, 디바이스로 하여금, 비교 또는 검출에 기초하여 제 1 디바이스 모드 또는 제 2 디바이스 모드를 선택하게 할 수도 있다.
명령들의 실행은 또한, 디바이스로 하여금, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 1 애퍼처로부터 제 1 이미지 센서로의 광; 또는 제 2 OE 모드에서 제 1 애퍼처로부터 제 2 이미지 센서로의 광 중 하나 이상을 지향시키게 할 수도 있다. 명령들의 실행은 또한, 디바이스로 하여금, 제 1 디바이스 모드 동안 제 1 이미지 센서로 지향된 광으로부터의 제 1 이미지; 또는 제 2 디바이스 모드 동안 제 2 이미지 센서로 지향된 광으로부터의 제 2 이미지 중 하나 이상을 캡처하게 할 수도 있다. 명령들의 실행은 또한, 디바이스로 하여금, 광학 엘리먼트에 의해, 제 1 OE 모드에서 디바이스의 제 2 애퍼처로부터 제 2 이미지 센서로의 광; 또는 제 2 OE 모드에서 제 2 애퍼처로부터 제 1 이미지 센서로의 광 중 하나 이상을 지향시키게 할 수도 있다.
다른 예에서, 디지털 이미징을 위한 디바이스가 개시된다. 디바이스는, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하기 위한 수단 및 식별된 디바이스 모드에 기초하여 광학 엘리먼트를 제어하기 위한 수단을 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 애퍼처로부터의 광을 제 1 이미지 센서로 지향시킨다. 제 1 애퍼처로부터의 광은, 광학 엘리먼트가 제 2 OE 모드에 있을 때 제 2 이미지 센서로 지향된다. 광학 엘리먼트를 제어하는 것은, 식별된 디바이스 모드에 기초하여 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것 및 식별된 OE 모드에 기초하여 광학 엘리먼트를 조정하는 것을 포함할 수도 있다. 광학 엘리먼트를 조정하는 것은 광학 엘리먼트를 회전시키는 것, 광학 엘리먼트를 병진 이동시키는 것, 또는 광학 엘리먼트에 전류를 인가하는 것 중 하나 이상을 포함할 수도 있다. 일부 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 것은 디바이스 모드를 표시하는 사용자 입력에 기초한다. 일부 다른 구현들에서, 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별하는 것은, 이미지 캡처를 위한 시야; 이미지 캡처를 위한 줌 팩터; 이미지 캡처를 위한 피사계 심도; 또는 가로 또는 세로와 같은 디바이스 배향 중 하나 이상에 기초한다. 제 1 이미지 센서는 제 1 시야와 연관될 수도 있고, 제 2 이미지 센서는 제 2 시야와 연관될 수도 있다. 제 1 이미지 센서는 제 1 줌 팩터와 연관될 수도 있고, 제 2 이미지 센서는 제 2 줌 팩터와 연관될 수도 있다. 제 1 이미지 센서는 제 1 피사계 심도와 연관될 수도 있고, 제 2 이미지 센서는 제 2 피사계 심도와 연관될 수도 있다. 제 1 이미지 센서는 디바이스의 제 1 배향과 연관될 수도 있고, 제 2 이미지 센서는 제 1 배향과 상이한 디바이스의 제 2 배향과 연관될 수도 있다.
본 개시의 일부 양태들은 애퍼처들 사이의 공유된 이미터에 관한 것이다. 능동 심도 감지를 위한 예시적인 디바이스는 제 1 광학 경로를 따라 전파된 광을 수신하도록 구성된 제 1 애퍼처, 제 2 광학 경로를 따라 전파된 광을 수신하도록 구성된 제 2 애퍼처, 제 1 광을 방출하도록 구성된 제 1 이미터, 및 제 1 광학 엘리먼트 (OE) 모드에서 제 1 이미터로부터의 제 1 광을 제 1 광학 경로를 향해 지향시키도록 구성된 광학 엘리먼트를 포함한다. 제 1 이미터로부터의 제 1 광은 제 2 OE 모드에서 제 2 광학 경로를 향해 지향된다.
디바이스는 제 1 OE 모드와 연관된 제 1 포지션과 제 2 OE 모드와 연관된 제 2 포지션 사이에서 광학 엘리먼트를 이동시키도록 구성된 액추에이터를 포함할 수도 있다. 디바이스는 제 1 OE 모드와 연관된 제 1 배향과 제 2 OE 모드와 연관된 제 2 배향 사이에서 광학 엘리먼트를 회전시키도록 구성된 액추에이터를 포함할 수도 있다. 일부 구현들에서, 광학 엘리먼트의 투명도 및 반사도는 제 1 광학 경로와 관련한 광학 엘리먼트의 배향에 기초한다. 디바이스는 광학 엘리먼트에 전류를 인가하도록 구성된 전류 소스를 포함할 수도 있다. 광학 엘리먼트의 투명도 및 반사도는 광학 엘리먼트에 인가된 전류의 양에 기초할 수도 있다.
일부 구현들에서, 디바이스는 제 2 광을 방출하도록 구성된 제 2 이미터를 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 2 이미터로부터의 제 2 광을 제 2 광학 경로를 향해 지향시킬 수도 있다. 제 2 광은 제 2 OE 모드에서 제 2 이미터로부터 제 1 광학 경로를 향해 지향될 수도 있다. 제 1 이미터는 구조화된 광 심도 감지를 위한 광의 제 1 분포를 방출하도록 구성될 수도 있고, 제 2 이미터는 비행 시간 (time-of-flight) 심도 감지를 위한 주기적 펄스 광 (periodic pulsed light); 구조화된 광 심도 감지를 위한 광의 제 2 분포; 또는 투광 조명 (flood illumination) 을 위한 확산 광 (diffuse light) 중 하나를 방출하도록 구성될 수도 있다. 디바이스는 능동 심도 감지를 위한 제 1 광의 반사를 수신하도록 구성된 하나 이상의 수신기들을 포함할 수도 있다.
일부 구현들에서, 디바이스는 하나 이상의 이미지들을 캡처하도록 구성된 이미지 센서를 포함한다. 이미지 센서는 저전력 이미지 센서일 수도 있다. 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서들보다 더 적은 전력을 소비한다. 일부 구현들에서, 제 1 이미터는 능동 심도 감지를 위한 광을 방출하도록 구성되고, 이미지 센서는 객체 검출을 위한 하나 이상의 이미지들을 캡처하도록 구성된 저전력 이미지 센서를 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 2 애퍼처로부터의 광을 이미지 센서를 향해 지향시킬 수도 있다. 제 1 애퍼처로부터의 광은 제 2 OE 모드에서 이미지 센서를 향해 지향될 수도 있다. 일부 구현들에서, 디바이스는 하나 이상의 이미지들을 프로세싱하도록 구성된 신호 프로세서, 신호 프로세서에 명령들을 제공하도록 구성된 애플리케이션 프로세서, 및 프로세싱된 이미지들을 저장하도록 구성된 메모리를 포함한다.
디바이스는 또한, 광학 엘리먼트를 제어하기 위한 제어기를 포함할 수도 있다. 제어기는 디바이스의 배향에 기초하여 광학 엘리먼트를 제어할 수도 있다.
다른 예에서, 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 디바이스에 의한 능동 심도 감지를 위한 방법이 개시된다. 예시적인 방법은 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계, 및 식별된 OE 모드에 기초하여 광학 엘리먼트를 제어하는 단계를 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시킨다. 제 1 애퍼처로부터의 광은 제 2 OE 모드에서 제 2 애퍼처를 향해 지향된다.
광학 엘리먼트를 제어하는 단계는 광학 엘리먼트를 조정하는 단계를 포함할 수도 있다. 광학 엘리먼트를 조정하는 단계는 광학 엘리먼트를 회전시키는 단계, 광학 엘리먼트를 병진 이동시키는 단계, 또는 광학 엘리먼트에 전류를 인가하는 단계 중 하나 이상을 포함할 수도 있다.
광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 디바이스의 디바이스 모드에 기초할 수도 있고, 디바이스는 제 2 이미터 또는 이미지 센서를 포함할 수도 있다. 제 1 디바이스 모드는 제 1 이미터와 연관되고, 제 2 디바이스 모드는 제 2 이미터 또는 이미지 센서와 연관된다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 사용자 입력에 기초할 수도 있다.
일부 구현들에서, 방법은 제 1 이미터에 의해 광을 방출하는 단계, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시키는 단계, 및 제 2 OE 모드에서 제 1 이미터로부터의 광을 제 2 애퍼처를 향해 지향시키는 단계를 포함한다. 방법은 또한, 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터에 의해 광을 방출하는 단계, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 2 이미터로부터의 광을 제 2 애퍼처를 향해 지향시키는 단계, 및 제 2 OE 모드에서 제 2 이미터로부터의 광을 제 1 애퍼처를 향해 지향시키는 단계를 포함할 수도 있다. 제 1 이미터는 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출한다. 방법은 하나 이상의 수신기들에 의해, 디바이스가 제 1 디바이스 모드에 있을 때 제 1 이미터로부터의 광의 반사를 수신하는 단계, 및 하나 이상의 수신기들에 의해, 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터로부터의 광의 반사를 수신하는 단계를 더 포함할 수도 있다.
일부 구현들에서, 방법은 디바이스가 제 2 디바이스 모드에 있을 때 이미지 센서에 의해 이미지들을 캡처하는 단계, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 2 애퍼처로부터의 광을 이미지 센서를 향해 지향시키는 단계, 및 제 2 OE 모드에서 제 1 애퍼처로부터의 광을 이미지 센서를 향해 지향시키는 단계를 포함한다. 제 1 이미터는 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출한다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 디바이스의 배향에 기초할 수도 있다. 일부 구현들에서, 이미지 센서는 저전력 이미지 센서이고, 제 2 디바이스 모드에서 이미지 센서에 의해 캡처된 이미지들은 객체 검출을 위한 것이다. 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서들보다 더 적은 전력을 소비한다.
추가의 예에서, 컴퓨터 판독가능 매체가 개시된다. 컴퓨터 판독가능 매체는, 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 능동 심도 감지를 위한 디바이스의 하나 이상의 프로세서들에 의해 실행될 경우, 디바이스로 하여금, 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하게 하고, 그리고 식별된 OE 모드에 기초하여 광학 엘리먼트를 제어하게 하는 명령들을 저장할 수도 있다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시킨다. 제 1 애퍼처로부터의 광은 제 2 OE 모드에서 제 2 애퍼처를 향해 지향된다.
광학 엘리먼트를 제어하기 위한 명령들의 실행은 디바이스로 하여금 광학 엘리먼트를 조정하게 할 수도 있다. 광학 엘리먼트를 조정하는 것은 광학 엘리먼트를 회전시키는 것, 광학 엘리먼트를 병진 이동시키는 것, 또는 광학 엘리먼트에 전류를 인가하는 것 중 하나 이상을 포함할 수도 있다.
광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 디바이스의 디바이스 모드에 기초할 수도 있다. 디바이스는 제 2 이미터 또는 이미지 센서를 포함할 수도 있다. 제 1 디바이스 모드는 제 1 이미터와 연관될 수도 있고, 제 2 디바이스 모드는 제 2 이미터 또는 이미지 센서와 연관될 수도 있다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 사용자 입력에 기초할 수도 있다.
명령들의 실행은 또한, 디바이스로 하여금, 제 1 이미터에 의해 광을 방출하게 하고, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시키게 하고, 그리고 제 2 OE 모드에서 제 1 이미터로부터의 광을 제 2 애퍼처를 향해 지향시키게 할 수도 있다. 일부 구현들에서, 명령들의 실행은, 디바이스로 하여금, 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터에 의해 광을 방출하게 하고, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 2 이미터로부터의 광을 제 2 애퍼처를 향해 지향시키게 하고, 그리고 제 2 OE 모드에서 제 2 이미터로부터의 광을 제 1 애퍼처를 향해 지향시키게 한다. 제 1 이미터는 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출한다. 명령들의 실행은 또한, 디바이스로 하여금, 하나 이상의 수신기들에 의해, 디바이스가 제 1 디바이스 모드에 있을 때 제 1 이미터로부터의 광의 반사를 수신하게 하고, 그리고 하나 이상의 수신기들에 의해, 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터로부터의 광의 반사를 수신하게 할 수도 있다.
일부 구현들에서, 명령들의 실행은, 디바이스로 하여금, 디바이스가 제 2 디바이스 모드에 있을 때 이미지 센서에 의해 이미지들을 캡처하게 하고, 광학 엘리먼트에 의해, 제 1 OE 모드에서 제 2 애퍼처로부터의 광을 이미지 센서를 향해 지향시키게 하고, 그리고 제 2 OE 모드에서 제 1 애퍼처로부터의 광을 이미지 센서를 향해 지향시키게 한다. 제 1 이미터는 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출한다. 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 디바이스의 배향에 기초할 수도 있다. 일부 구현들에서, 이미지 센서는 저전력 이미지 센서이고, 제 2 디바이스 모드에서 이미지 센서에 의해 캡처된 이미지들은 객체 검출을 위한 것이다. 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서들보다 더 적은 전력을 소비한다.
다른 예에서, 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 능동 심도 감지를 위한 디바이스가 개시된다. 디바이스는, 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하기 위한 수단, 및 식별된 OE 모드에 기초하여 광학 엘리먼트를 제어하기 위한 수단을 포함한다. 광학 엘리먼트는 제 1 OE 모드에서 제 1 이미터로부터의 광을 제 1 애퍼처를 향해 지향시킨다. 광은 제 2 OE 모드에서 제 1 이미터로부터 제 2 애퍼처를 향해 지향된다. 디바이스는 광학 엘리먼트를 조정하기 위한 수단을 포함할 수도 있다.
다른 예에서, 능동 심도 감지를 위한 다른 디바이스가 개시된다. 디바이스는 제 1 광을 방출하기 위한 수단, 제 1 OE 모드에서 제 1 광을 제 1 광학 경로를 향해 지향시키기 위한 수단, 및 제 1 OE 모드에서 제 1 광학 경로를 따라 전파된 제 1 광을 디바이스의 외부로 지향시키기 위한 수단을 포함한다. 디바이스는 또한, 제 2 OE 모드에서 제 1 광을 제 2 광학 경로를 향해 지향시키기 위한 수단, 및 제 2 OE 모드에서 제 2 광학 경로를 따라 전파된 제 1 광을 디바이스의 외부로 지향시키기 위한 수단을 포함한다.
본 개시의 양태들은 첨부 도면들의 도들에 있어서 제한으로서가 아닌 예로서 예시되며, 도면들에 있어서, 동일한 참조 부호들은 유사한 엘리먼트들을 지칭한다.
도 1 은 제 1 광학 경로와 연관된 제 1 이미지 센서 및 제 2 광학 경로와 연관된 제 2 이미지 센서를 예시하는 디바이스 부분의 단면도를 도시한다.
도 2 는 제 1 광학 경로와 연관된 능동 심도 감지를 위한 제 1 이미터 및 제 2 광학 경로와 연관된 능동 심도 감지를 위한 제 2 이미터를 예시하는 디바이스 부분의 단면도를 도시한다.
도 3a 는 제 1 광학 경로를 공유하는 제 1 이미지 센서 및 제 2 이미지 센서를 포함하는 예시적인 디바이스의 블록 다이어그램을 도시한다.
도 3b 는 제 1 측면 상에 제 1 애퍼처 및 제 2 측면 상에 제 2 애퍼처를 갖는 디바이스의 도면을 도시한다.
도 3c 는 디스플레이를 포함하는 측면 상에 제 1 애퍼처 및 제 2 애퍼처를 갖는 디바이스의 도면을 도시한다.
도 3d 는 디스플레이에 대향하는 측면 상에 제 1 애퍼처 및 제 2 애퍼처를 갖는 디바이스의 도면을 도시한다.
도 3e 는 디바이스의 제 1 측면으로부터의 그리고 디바이스의 제 2 측면으로부터의 이미지 캡처 사이에서 스위칭하는 디바이스의 도면을 도시한다.
도 3f 는 디바이스에 의해 캡처된 이미지들에 대한 FOV 또는 줌 팩터를 조정하는 디바이스의 도면을 도시한다.
도 3g 는 디스플레이를 포함하는 측면 상에 제 1 애퍼처 및 제 3 애퍼처, 그리고 디스플레이에 대향하는 측면 상에 제 2 애퍼처 및 제 4 애퍼처를 갖는 디바이스의 도면을 도시한다.
도 4a 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 4b 는 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 4a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 4c 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 4d 는 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 4c 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 4e 는 제 1 광학 경로와 연관된 제 1 이미지 센서 및 제 3 광학 경로와 연관된 제 3 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 4f 는 제 1 광학 경로와 연관된 제 2 이미지 센서 및 제 3 광학 경로와 연관된 제 4 이미지 센서를 예시하는 도 4e 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 5a 는 디바이스가 제 1 OE 모드에 있을 때 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 5b 는 디바이스가 제 2 OE 모드에 있을 때 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 5a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 5c 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 5d 는 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 5c 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 6a 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 6b 는 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 6a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 6c 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 6d 는 제 1 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 6c 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 6e 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 6f 는 제 2 광학 경로와 연관된 제 1 이미지 센서를 예시하는 도 6e 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 6g 는 제 1 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 6h 는 제 2 광학 경로와 연관된 제 1 이미지 센서를 예시하는 도 6g 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 7a 는 이미지 캡처를 위한 시야 (FOV) 를 조정하기 위해 하나 이상의 렌즈들과 연관된 제 1 이미지 센서 및 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 7b 는 이동가능한 렌즈와 연관된 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 7c 는 이동가능한 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 7d 는 이미지 캡처를 위한 시야 (FOV) 를 조정하기 위해 하나 이상의 렌즈들과 연관된 제 1 이미지 센서 및 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 7e 는 이동가능한 렌즈와 연관된 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 7f 는 이동가능한 제 2 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 8a 는 제 1 이미지 센서 및 제 2 이미지 센서가 제 1 광학 경로를 공유하는 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 8b 는 도 8 의 제 1 이미지 센서 및 제 2 이미지 센서가 제 2 광학 경로를 공유하는 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 9a 는 이미지 캡처를 위한 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 9b 는 광학 엘리먼트를 제어하기 위한 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 9c 는 디바이스 배향에 기초하여 광학 엘리먼트를 제어하기 위한 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 10 은 디바이스가 제 1 모드에 있을 때 제 1 광학 경로 및 디바이스가 제 2 모드에 있을 때 제 2 광학 경로에 커플링된 능동 심도 감지를 위한 제 1 이미터를 포함하는 예시적인 디바이스의 블록 다이어그램을 도시한다.
도 11 은 광의 분포를 방출하기 위한 이미터를 포함하는 예시적인 능동 심도 감지 시스템의 도면을 도시한다.
도 12 는 이미터를 포함하는 직접 비행 시간 (TOF) 능동 심도 감지 시스템의 도면을 도시한다.
도 13 은 이미터를 포함하는 간접 TOF 능동 심도 감지 시스템의 도면을 도시한다.
도 14a 는 제 1 광학 경로와 연관된 제 1 이미터를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 14b 는 제 2 광학 경로와 연관된 제 1 이미터를 예시하는 도 14a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 14c 는 제 1 광학 경로와 연관된 제 1 이미터 및 제 3 광학 경로와 연관된 제 1 이미지 센서를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 14d 는 제 1 광학 경로와 연관된 제 2 이미터 및 제 3 광학 경로와 연관된 제 2 이미지 센서를 예시하는 도 14c 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 15a 는 제 1 광학 경로와 연관된 제 1 이미터를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 15b 는 제 2 광학 경로와 연관된 제 1 이미터를 예시하는 도 15a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 16a 는 제 1 광학 경로와 연관된 제 1 이미터를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 16b 는 제 2 광학 경로와 연관된 제 1 이미터를 예시하는 도 16a 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 16c 는 제 1 광학 경로와 연관된 제 1 이미터를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 16d 는 제 2 광학 경로와 연관된 제 1 이미터를 예시하는 도 16c 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 16e 는 제 1 광학 경로와 연관된 제 1 이미터를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다.
도 16f 는 제 2 광학 경로와 연관된 제 1 이미터를 예시하는 도 16e 의 예시적인 디바이스 부분의 단면도를 도시한다.
도 17a 는 디바이스에 의한 능동 심도 감지를 위한 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 17b 는 다중 디바이스 모드들에 대해 구성된 디바이스에 의한 능동 심도 감지를 위한 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
도 18 은 능동 심도 감지를 위한 광학 엘리먼트를 제어하는 예시적인 동작을 도시하는 예시적인 플로우 차트를 도시한다.
본 개시의 양태들은 이미지 캡처 시스템들 및 디바이스들 또는 능동 심도 감지 시스템들 및 디바이스들을 위해 사용될 수도 있다. 일부 양태들은 다중 이미지 센서들 사이에 공유된 광학 경로를 갖는 디바이스를 포함할 수도 있다. 일부 다른 양태들은 다중 광학 경로들 사이에 공유되는 능동 심도 감지를 위한 이미터를 갖는 디바이스를 포함할 수도 있다.
다중 이미지 센서들 사이에 공유된 광학 경로를 갖는 디바이스를 포함하는 양태들을 참조하면, 많은 디바이스들은 다중 카메라들을 갖는다. 디바이스가 다중 카메라들을 갖는 경우, 각각의 카메라는 이미지 센서, 렌즈, 및 다른 카메라 컴포넌트들 (이를 테면, 셔터, 이미징 프론트 엔드, 컬러 필터 등) 을 포함한다. 예를 들어, 스마트폰은 복수의 후면 카메라들 (디스플레이를 포함하는 측면에 대향함) 을 가질 수도 있고, 각각의 후면 카메라는 전용 카메라 컴포넌트들을 포함한다. 각각의 후면 카메라는 이미지 센서 및 이미지 센서에 광을 지향시키는 하나 이상의 렌즈들에 기초하여 장면의 상이한 시야 (field of view; FOV) 를 캡처하도록 구성될 수도 있다. 이미지가 캡처될 때, 연관된 카메라가 이미지를 캡처하는데 사용되는 한편 다른 카메라들은 일반적으로 사용되지 않는다. 다른 예에서, 하나의 후면 카메라는 컬러 이미징을 위한 1 차 카메라일 수도 있고, 다른 후면 카메라는 흑백 이미징을 위한 보조 카메라일 수도 있다. 흑백 이미지가 캡처될 경우, 보조 카메라가 사용될 수도 있는 한편, 1 차 카메라는 사용되지 않는다.
스마트폰은 또한, (이를 테면 디스플레이 내의 펀치 홀에, 디스플레이의 측면 상의 노치에, 디스플레이 아래에 위치된) 하나 이상의 전면 카메라들을 가질 수도 있고, 각각의 전면 카메라는 상이한 FOV 와 연관될 수도 있다. 예를 들어, 스마트폰이 하나의 전면 카메라를 포함하면, 전면 카메라는 인물 이미지들을 위한 FOV 를 갖는 이미지들을 캡처하도록 구성될 수도 있다. 스마트폰이 제 2 전면 카메라를 포함하면, 제 2 전면 카메라는 풍경 이미지들 또는 그룹 셀피 이미지들을 위한 FOV 를 갖는 이미지들을 캡처하도록 구성될 수도 있다. (셀피 이미지와 같은) 전면 이미지를 캡처하기 위해 사용될 FOV 에 기초하여, 연관된 전면 카메라가 사용되는 한편, 다른 전면 카메라는 사용되지 않는다.
도 1 은 제 1 광학 경로 (106) 와 연관된 제 1 이미지 센서 (102) 및 제 2 광학 경로 (108) 와 연관된 제 2 이미지 센서 (104) 를 예시하는 디바이스 (100) 부분의 단면도를 도시한다. 제 1 이미지 센서 (102) 는 (노치, 펀치 홀 등을 통해서와 같이) 디바이스 (100) 의 디스플레이 (118) 를 통하여 제 1 애퍼처 (110) 를 통해 광 (114) 을 수신하도록 구성된 전면 카메라와 연관된다. 제 2 이미지 센서 (104) 는 디바이스 (100) 의 후방 패널을 통하여 제 2 애퍼처 (112) 를 통해 광 (116) 을 수신하도록 구성된 후면 카메라와 연관된다. 제 1 이미지 센서 (102) 는 전면 카메라에 의해 이미지들을 캡처하기 위한 전용 이미징 컴포넌트들과 연관되고, 제 2 이미지 센서 (104) 는 후면 카메라에 의해 이미지들을 캡처하기 위한 전용 이미징 컴포넌트들과 연관된다. 전면 이미지가 캡처될 때, 후면 카메라는 사용되지 않는다. 후면 이미지가 캡처될 때, 후면 카메라는 사용되지 않는다.
전용 광학 경로에 커플링되는 각각의 이미지 센서는 디바이스 내에 공간 및 추가적인 카메라 컴포넌트들을 요구한다. 이미지 센서들의 수가 증가함에 따라, 요구되는 공간이 증가하고 카메라 컴포넌트들의 수가 증가한다. 추가적으로, 각각의 이미지 센서가 디바이스 내로의 광을 허용하기 위해 애퍼처와 연관되기 때문에, 이미지 센서들의 수가 증가함에 따라 디바이스의 외부에서 볼 수 있는 애퍼처들의 수가 증가한다. 예를 들어, 스마트폰에서 전면 카메라들의 수가 증가함에 따라, 추가적인 애퍼처들을 수용하기 위해 스마트폰 디스플레이를 통한 펀치 홀들의 수, 펀치 홀 사이즈, 또는 노치 사이즈가 증가하여, 설계 및 제조 복잡성 및/또는 설계 미학에 영향을 준다. 더욱이, 하나의 이미지 센서는 다른 이미지 센서가 이미징을 위해 사용될 때 사용되지 않을 수도 있지만, 사용되지 않은 이미지 센서 및 카메라 컴포넌트들이 인에이블되어 전력을 소비할 수도 있다. 이미지 센서들 (및 그들의 전용 카메라 컴포넌트들) 의 수가 증가함에 따라, 소비되는 전력의 양은 증가한다.
디바이스는 디바이스에 대한 전력 소비, 요구되는 공간, 요구되는 컴포넌트들의 수, 및 요구되는 애퍼처들의 수를 감소시키기 위해 더 적은 이미지 센서들 (및 전용 카메라 컴포넌트들) 을 포함할 수도 있다. 그러나, 이미지 센서들의 수를 감소시키는 것은 디바이스의 능력들을 감소시킬 수도 있다. 예를 들어, 스마트폰이 인물 FOV 로 구성된 단 하나의 전면 카메라만을 포함하는 경우, 스마트폰은 (스마트폰이 풍경 FOV 구성된 후면 카메라를 포함하더라도) 풍경 또는 그룹 FOV 셀피 이미지들을 캡처할 수 없다.
일부 구현들에서, 디바이스는 적어도 하나의 광학 경로 (및 연관된 애퍼처) 를 공유하도록 구성되는 제 1 이미지 센서 및 제 2 이미지 센서를 포함할 수도 있다. 예를 들어, 제 1 이미지 센서는 제 1 FOV 를 갖는 이미지들을 캡처하도록 구성될 수도 있고, 제 2 이미지 센서는 제 2 FOV 를 갖는 이미지들을 캡처하도록 구성될 수도 있다. 디바이스는 공유된 광학 경로로부터의 광을 제 1 이미지 센서로 지향시키는 것과 공유된 광학 경로로부터의 광을 제 2 이미지 센서로 지향시키는 것 사이에서 스위칭하도록 구성된 광학 엘리먼트를 포함한다. 이러한 방식으로, 디바이스는 다중 이미지 센서들에 대한 감소된 공간 및 수의 카메라 컴포넌트들을 요구할 수도 있다. 추가적으로, 특정 FOV 에 대한 다중 전용 이미지 센서들이 디바이스의 다중 측면들에 대해 요구되지 않도록 이미지 센서가 전면 이미징 및 후면 이미징을 위해 사용될 수도 있다. 예를 들어, 제 1 FOV 를 갖는 하나의 이미지 센서는 스마트폰 또는 다른 디바이스로부터의 전면 이미지들 및 후면 이미지들을 위해 사용될 수도 있다. 구현들의 다른 이익들이 도면들 및 예들을 참조하여 본 명세서에서 설명된다.
디바이스 내의 다중 광학 경로들 (및 디바이스 상의 그들의 연관된 애퍼처들) 에 의해 공유되는 능동 심도 감지 이미터를 갖는 디바이스를 포함하는 양태들을 참조하면, 디바이스는 디바이스의 다양한 동작들을 돕도록 능동 심도 감지를 위해 구성될 수도 있다. 예를 들어, 스마트폰은 하나 이상의 후면 카메라들의 자동 초점을 위한, 심도 맵핑을 위한, 거리 측정 (range finding) 을 위한, 또는 다른 적합한 동작들을 위한 후면 능동 심도 감지 시스템을 포함할 수도 있다. 다른 예에서, 스마트폰은 얼굴 인식을 위한, 심도 맵핑을 위한, 또는 다른 적합한 동작들을 위한 전면 능동 심도 감지 시스템을 포함할 수도 있다. 각각의 능동 심도 감지 시스템은 능동 심도 감지를 위한 전용 이미터 및 컴포넌트들을 포함한다. 각각의 능동 심도 감지 시스템은 또한 하나 이상의 전용 애퍼처들을 포함한다.
도 2 는 제 1 광학 경로 (222) 와 연관된 능동 심도 감지를 위한 제 1 이미터 (220) 및 제 2 광학 경로 (232) 와 연관된 능동 심도 감지를 위한 제 2 이미터 (230) 를 예시하는 디바이스 (200) 부분의 단면도를 도시한다. 제 1 이미터 (220) 는 제 1 광학 경로 (222) 를 통하여 그리고 디바이스 디스플레이 (218) 를 통하여 제 1 애퍼처 (226) 를 통해 디바이스 (200) 의 전방 밖으로 광 (224) 을 방출하도록 구성된다. 제 2 이미터 (230) 는 제 2 광학 경로 (232) 를 통하여 그리고 디바이스 (200) 의 후방 측면을 통하여 제 2 애퍼처 (236) 를 통해 디바이스 (200) 의 후방 밖으로 광 (234) 을 방출하도록 구성된다. 디바이스 (200) 는 또한, 디스플레이 (218) 를 통하여 제 3 애퍼처 (210) 를 통해 그리고 제 3 광학 경로 (206) 를 통해 광 (214) 을 수신하도록 구성된 센서 (202) 를 포함한다. 광 (214) 은 능동 심도 감지를 위한 광 (224) 을 반사들을 포함한다. 디바이스 (200) 는 또한, 디바이스 (200) 의 후방 측면을 통하여 제 4 애퍼처 (212) 를 통해 그리고 제 4 광학 경로 (208) 를 통해 광 (216) 을 수신하도록 구성된 센서 (204) 를 포함한다. 광 (216) 은 능동 심도 감지를 위한 광 (234) 의 반사들을 포함한다.
도시된 바와 같이, 전면 능동 심도 감지 시스템 (이미터 (220) 를 포함함) 은 능동 심도 감지를 위한 전용 컴포넌트들과 연관되고, 후면 능동 심도 감지 시스템 (이미터 (230) 를 포함함) 은 능동 심도 감지를 위한 상이한 전용 컴포넌트들과 연관된다. 능동 심도 감지 시스템들 중 하나만이 사용 중일 때, 다른 능동 심도 감지 시스템의 컴포넌트들은 사용되지 않을 수도 있다. 예를 들어, 제 1 이미터 (220) 가 사용 중일 때, 제 2 이미터 (230) 는 사용되지 않을 수도 있다. 추가적으로, 디바이스가 다중 능동 심도 감지 시스템들 (이를 테면, 다중 이미터들 및 그 이미터들을 구동 및 제어하기 위한 컴포넌트들) 을 포함할 때 다수의 유사한 컴포넌트들이 요구된다. 디바이스에서 능동 심도 감지 시스템들의 수가 증가함에 따라, 디바이스에서 요구되는 공간, 이미터들, 및 컴포넌트들의 수가 증가한다.
디바이스는 디바이스에서 요구되는 공간, 요구되는 컴포넌트들의 수, 및 요구되는 애퍼처들의 수를 감소시키기 위해 더 적은 능동 심도 감지 시스템들 (및 전용 이미터들) 을 포함할 수도 있다. 그러나, 능동 심도 감지 시스템들의 수를 감소시키는 것은 디바이스의 능력들을 감소시킬 수도 있다. 예를 들어, 스마트폰이 전면 능동 심도 감지 시스템만을 포함하는 경우 (후면 능동 심도 감지 시스템이 없음), 스마트폰은 스크린 잠금해제를 위해 얼굴 인식을 수행 가능할 수도 있지만, 스마트폰은 후면 카메라들에 대해 레이저 자동초점을 수행할 수 없다.
일부 구현들에서, 디바이스는 능동 심도 감지를 위해 이미터를 공유하도록 구성되는 제 1 애퍼처 및 광학 경로 및 제 2 애퍼처 및 광학 경로를 포함할 수도 있다. 예를 들어, 제 1 애퍼처 (디바이스 내의 제 1 광학 경로에 커플링됨) 는 전면 애퍼처일 수도 있고, 제 2 애퍼처 (디바이스 내의 제 2 광학 경로에 커플링됨) 는 후면 애퍼처일 수도 있다. 디바이스는 이미터를 제 1 광학 경로에 커플링하는 것과 이미터를 제 2 광학 경로에 커플링하는 것 사이에서 스위칭하도록 구성된 광학 엘리먼트를 포함한다. 이러한 방식으로, 이미터는 제 1 애퍼처를 통해 또는 제 2 애퍼처를 통해 (이를 테면 전면 능동 심도 감지를 위한 전면 애퍼처 또는 후면 능동 심도 감지를 위한 후면 애퍼처) 디바이스 밖으로 광을 방출하도록 구성될 수도 있다. 디바이스는 능동 심도 감지를 위한 공유된 이미터에 대한 감소된 공간 및 수의 컴포넌트들을 요구할 수도 있다. 구현들의 다른 이익들이 도면들 및 예들을 참조하여 본 명세서에서 설명된다.
다음의 설명에서, 본 개시의 철저한 이해를 제공하기 위해 특정 컴포넌트들, 회로들, 및 프로세서들의 예들과 같이 다수의 특정 상세들이 기재된다. 본 명세서에서 사용된 바와 같은 용어 "커플링된" 은 직접 연결되거나 또는 하나 이상의 개재 컴포넌트들 또는 회로들을 통해 연결되는 것을 의미한다. 또한, 다음의 설명에서 그리고 설명의 목적들을 위해, 본 개시의 철저한 이해를 제공하기 위해 특정 명명법이 기재된다. 하지만, 이들 특정 상세들은 본 명세서에 개시된 교시들을 실시하는데 요구되지 않을 수도 있음이 당업자에게 명백할 것이다. 다른 경우들에서, 잘 알려진 회로들 및 디바이스들은 본 개시의 교시들을 모호하게 하는 것을 회피하기 위해 블록 다이어그램 형태로 도시된다. 다음에 오는 상세한 설명들의 일부 부분들은 컴퓨터 메모리 내의 데이터 비트들에 대한 동작들의 절차들, 로직 블록들, 프로세싱 및 다른 심볼 표현들의 관점에서 제시된다. 본 개시에서, 절차, 로직 블록, 프로세스 등은 원하는 결과로 이어지는 단계들 또는 명령들의 일관성 있는 시퀀스인 것으로 생각된다. 단계들은 물리량들의 물리적 조작들을 요구하는 것들이다. 필수적인 것은 아니지만 통상적으로, 이들 양들은 컴퓨터 시스템에서 저장되고, 전송되고, 결합되고, 비교되고, 그렇지 아니면 조작되는 것이 가능한 전기적 또는 자기적 신호들의 형태를 취한다.
하지만, 이들 용어 및 유사한 용어들 모두는 적절한 물리량들과 연관되어야 하고, 이들 양들에 적용된 단지 편리한 라벨들임을 명심해야 한다. 다음의 논의들로부터 명백한 바와 같이 특별히 달리 서술되지 않으면, 본 출원 전반에 걸쳐, "액세스하는 것", "수신하는 것", "전송하는 것", "사용하는 것", "선택하는 것", "결정하는 것", "정규화하는 것", "승산하는 것", "평균화하는 것", "모니터링하는 것", "비교하는 것", "적용하는 것", "업데이트하는 것", "측정하는 것", "도출하는 것", "해결하는 것" 등과 같은 용어들을 활용하는 논의들은 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션들 및 프로세스들을 지칭함이 인식되며, 이 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스는 컴퓨터 시스템의 레지스터들 및 메모리들 내의 물리(전자)량들로서 표현된 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 그러한 다른 정보 저장, 송신 또는 디바이스 디바이스들 내의 물리량들로서 유사하게 표현된 다른 데이터로 조작 및 변환한다.
도면들에서, 단일 블록이 기능 또는 기능들을 수행하는 것으로서 설명될 수도 있지만, 실제 실시에 있어서, 그 블록에 의해 수행된 기능 또는 기능들은 단일 컴포넌트에서 또는 다중 컴포넌트들에 걸쳐 수행될 수도 있고, 및/또는 하드웨어를 사용하여, 소프트웨어를 사용하여, 또는 하드웨어와 소프트웨어의 조합을 사용하여 수행될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 일반적으로 그들의 기능의 관점에서 하기에 설명된다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다. 당업자는 설명된 기능을 각각의 특정 애플리케이션에 대해 다양한 방식들로 구현할 수도 있지만, 그러한 구현 결정들이 본 개시의 범위로부터 일탈을 야기하는 것으로서 해석되지 않아야 한다. 또한, 예시적인 디바이스들은, 프로세서, 메모리 등과 같은 잘 알려진 컴포넌트들을 포함하여, 도시된 것들 이외의 컴포넌트들을 포함할 수도 있다.
본 개시의 양태들은 이미지들 또는 비디오를 캡처하도록 구성된 이미지 센서 또는 능동 심도 감지를 위해 구성된 이미터를 포함하는 임의의 적합한 전자 디바이스 (이를 테면 보안 시스템들, 스마트폰들, 태블릿들, 랩탑 컴퓨터들, 디지털 비디오 및/또는 스틸 카메라들, 웹 카메라들 등) 에 적용가능하다. 본 명세서에서 설명된 많은 예들은 하나 또는 2 개의 광학 경로들을 공유하는 2 개의 이미지 센서들을 포함하는 디바이스를 도시하지만, 본 개시의 양태들은 임의의 수의 광학 경로들 및 임의의 수의 공유된 이미지 센서들을 갖는 디바이스들에 적용가능하다. 이미지 센서들은 또한 디바이스의 상이한 측면들에 대해 배향되는 것으로 도시되지만, 각각의 이미지 센서는 임의의 적합한 방식으로 (이를 테면 디바이스의 동일한 측면에 대해) 배향될 수도 있다. 추가적으로, 본 명세서에서 설명된 많은 예들은 능동 심도 감지를 위한 2 개의 광학 경로들 및 애퍼처들을 공유하는 하나의 이미터를 포함하는 디바이스를 도시하지만, 본 개시의 양태들은 임의의 수의 이미터들 및 임의의 수의 공유된 광학 경로들을 갖는 디바이스들에 적용가능하다. 따라서, 본 개시는 특정 수의 이미지 센서들, 능동 심도 감지 이미터들, 컴포넌트들, 컴포넌트들의 배향, 애퍼처들, 광학 경로들 등을 갖는 디바이스로 제한되지 않는다.
용어 "디바이스" 는 (하나의 스마트폰, 하나의 카메라 제어기, 하나의 프로세싱 시스템 등과 같은) 하나 또는 특정 수의 물리 객체들로 제한되지 않는다. 본 명세서에서 사용된 바와 같이, 디바이스는 본 개시의 적어도 일부 부분들을 구현할 수도 있는 하나 이상의 부분들을 갖는 임의의 전자 디바이스일 수도 있다. 하기의 설명 및 예들이 본 개시의 다양한 양태들을 설명하기 위해 용어 "디바이스" 를 사용하지만, 용어 "디바이스" 는 특정 구성, 타입, 또는 수의 객체들로 제한되지 않는다.
도 3a 는 예시적인 디바이스 (300) 의 블록 다이어그램을 도시한다. 예시적인 디바이스 (300) 는 광을 제 1 광학 경로 (301) 로 지향시키기 위한 제 1 애퍼처 (320), 제 1 이미지 센서 (302), 제 2 이미지 센서 (303), 및 광학 엘리먼트 (304) 를 포함할 수도 있다. 예시적인 디바이스 (300) 는 또한 프로세서 (305), 명령들 (308) 을 저장하는 메모리 (306), 및 이미지 신호 프로세서 (312) 를 포함한다. 디바이스 (300) 는 옵션으로 디스플레이 (314), 다수의 입력/출력 (I/O) 컴포넌트들 (316), 및 다수의 센서들 (326) 을 포함할 (또는 그에 커플링될) 수도 있다. 디바이스 (300) 는 도시되지 않은 추가적인 피처들 또는 컴포넌트들을 포함할 수도 있다. 일 예에서, 다수의 트랜시버들 및 기저대역 프로세서를 포함할 수도 있는 무선 인터페이스가 무선 통신 디바이스를 위해 포함될 수도 있다. 디바이스 (300) 는 또한, 디바이스 (300) 에 커플링되거나 통합될 수도 있는 전력 공급부 (318) 를 포함할 수도 있다.
디바이스 (300) 는 디바이스가 제 1 디바이스 모드 (또는 제 1 모드) 에 있을 때 이미지들을 캡처하기 위해 제 1 이미지 센서 (302) 를 사용하도록 구성된다. 디바이스 (300) 는 또한, 디바이스가 제 2 디바이스 모드 (또는 제 2 모드) 에 있을 때 이미지들을 캡처하기 위해 제 2 이미지 센서 (303) 를 사용하도록 구성된다. 디바이스 (300) 가 제 1 모드에 있을 때, 제 1 이미지 센서 (302) 는 광학 엘리먼트 (304) 에 기초하여 제 1 광학 경로 (301) 를 따라 전파되는 광을 수신하도록 구성될 수도 있다. 광학 엘리먼트 (304) 는 제 1 광학 엘리먼트 (OE) 모드에 있을 때 제 1 광학 경로를 따라 전파되는 광을 제 1 이미지 센서 (302) 로 지향시키도록 구성된다. 디바이스 (300) 가 제 2 모드에 있을 때, 제 2 이미지 센서 (303) 는 광학 엘리먼트 (304) 에 기초하여 제 1 광학 경로 (301) 를 따라 전파되는 광을 수신하도록 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (304) 는 광학 엘리먼트 (304) 가 제 2 OE 모드에 있을 때 제 2 이미지 센서 (303) 가 제 1 광학 경로 (301) 를 따라 전파되는 광을 수신하게 하도록 구성된다.
일부 구현들에서, 디바이스 (300) 는 제 2 광학 경로 (324) 를 따라 광을 지향시키기 위한 제 2 애퍼처 (322) 를 포함한다. 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 는 또한 제 2 광학 경로 (324) 를 공유할 수도 있다. 광학 엘리먼트 (304) 는 광학 엘리먼트 (304) 가 제 1 OE 모드에 있을 때 광을 제 2 광학 경로 (324) 를 따라 제 2 이미지 센서 (303) 로 지향시키도록 구성될 수도 있고, 디바이스 (300) 는 광학 엘리먼트 (304) 가 제 2 OE 모드에 있을 때 광을 제 2 광학 경로 (324) 를 따라 제 1 이미지 센서 (302) 로 지향시키도록 구성될 수도 있다. 위에서 언급된 바와 같이, 제 1 디바이스 모드와 제 2 디바이스 모드 사이의 스위칭은 이미지들을 캡처하기 위한 이미지 센서들 사이의 스위칭을 지칭할 수도 있다. 일부 구현들에서, 제 1 이미지 센서 (302) 는 제 1 디바이스 모드의 제 1 부분 동안 제 1 광학 경로 (301) 를 따라 전파된 광을 수신하고, 제 1 이미지 센서 (302) 는 제 1 디바이스 모드의 제 2 부분 동안 제 2 광학 경로 (324) 를 따라 전파된 광을 수신한다. 유사하게, 제 2 이미지 센서 (303) 는 제 2 디바이스 모드의 제 1 부분 동안 제 1 광학 경로 (301) 를 따라 전파된 광을 수신할 수도 있고, 제 2 이미지 센서 (303) 는 제 2 디바이스 모드의 제 2 부분 동안 제 2 광학 경로 (324) 를 따라 전파된 광을 수신한다. 제 1 부분 및 제 2 부분은 광학 엘리먼트 (304) 가 제 1 OE 모드에 있는지 또는 제 2 OE 모드에 있는지에 기초할 수도 있고, 디바이스 (300) 는 OE 모드들 사이에서 광학 엘리먼트 (304) 를 스위칭하도록 구성된다. 일부 구현들에서, 제 1 디바이스 모드의 제 1 부분은 제 2 디바이스 모드의 제 1 부분과 동일하고, 제 1 디바이스 모드의 제 2 부분은 제 2 디바이스 모드의 제 2 부분과 동일하다. 예를 들어, 광학 엘리먼트 (304) 가 제 1 광학 경로 (301) 를 따라 전파되는 광을 제 1 이미지 센서 (302) 로 지향시키도록 구성될 때, 광학 엘리먼트 (304) 는 제 2 광학 경로 (324) 를 따라 전파되는 광이 제 2 이미지 센서 (303) 에 도달하게 한다.
디바이스 모드들은 하나 이상의 이미지 캡처 특성들에 기초할 수도 있다. 예를 들어, 제 1 모드는 제 1 FOV 를 갖는 이미지들을 캡처하기 위한 것일 수도 있고, 제 2 모드는 제 2 FOV 를 갖는 이미지들을 캡처하기 위한 것일 수도 있다. 일 예에서, 제 1 FOV 는 망원 (telephoto) FOV 일 수도 있고, 제 2 FOV 는 광 (wide) FOV 일 수도 있다. 망원 FOV 는 망원 렌즈와 연관된 FOV 또는 망원 FOV 이미지들을 캡처하기에 적합한 FOV 를 지칭할 수도 있다. 광 FOV 는 광 FOV, 초광 (ultra-wide) FOV, 또는 망원 FOV 보다 큰 임의의 다른 FOV 를 지칭할 수도 있다. 다른 예에서, 제 1 모드는 컬러 이미지들을 캡처하기 위한 것일 수도 있고, 제 2 모드는 흑백 이미지들을 캡처하기 위한 것일 수도 있다. 추가 예에서, 제 1 모드는 제 1 줌 팩터와 연관될 수도 있고, 제 2 모드는 제 2 줌 팩터와 연관될 수도 있다 (이를 테면 광을 연관된 이미지 센서로 지향시키는 렌즈들에 의해 야기되는 광학 줌에 기초함).
일부 다른 구현들에서, 제 1 디바이스 모드와 제 2 디바이스 모드 사이의 스위칭은 이미지 캡처를 위한 이미지 센서와 능동 심도 감지를 위한 이미지 센서 사이의 스위칭을 지칭할 수도 있다. 제 1 이미지 센서는 (셀피들을 캡처하는 것, 인물 이미지들을 캡처하는 것, 그룹 이미지들을 캡처하는 것 등과 같은) 시각적 촬영 (visual photography) 을 위해 사용될 수도 있다. 제 2 이미지 센서는 (비행 시간 심도 감지 또는 구조화된 광 심도 감지를 위한 광의 반사들을 캡처하는 것과 같은) 능동 심도 감지를 위해 사용될 수도 있다. 예를 들어, 제 1 모드는 제 1 이미지 센서 (302) 를 사용하여 이미지들을 캡처하기 위한 것이고, 제 2 모드는 능동 심도 감지를 위해 제 2 이미지 센서 (303) 를 사용하여 이미터로부터의 광 반사들을 캡처하기 위한 것이다.
일부 구현들에서, 제 1 디바이스 모드와 제 2 디바이스 모드 사이의 스위칭은 디바이스 (300) 로 하여금 다른 디바이스 모드로 스위칭하게 하기 위해 하나의 디바이스 모드 동안 이미지 센서에 의해 캡처된 정보에 기초할 수도 있다. 예를 들어, 디바이스 (300) 는 저전력 이미지 센서 및 고전력 이미지 센서를 포함할 수도 있다. 본 명세서에서 사용된 바와 같이, 저전력 이미지 센서는 하나 이상의 다른 이미지 센서들 (이를 테면 디바이스들에서 사용되는 종래의 이미지 센서들) 보다 더 적은 전력을 소비하는 이미지 센서를 지칭한다. 고전력 이미지 센서는 동일한 양의 시간에 걸쳐 저전력 이미지 센서보다 더 많은 전력을 소비하는 이미지 센서를 지칭할 수도 있다. 이러한 방식으로, 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 고전력 이미지 센서보다 더 적은 전력을 소비하는 이미지 센서를 지칭할 수도 있다. 일부 구현들에서, 상이한 전력 소비들은 해상도의 차이에 기초할 수도 있다. 예를 들어, 서로에 관련하여, 저전력 이미지 센서는 더 낮은 해상도 이미지 센서일 수도 있고 고전력 이미지 센서는 더 높은 해상도 이미지 센서일 수도 있다. 더 적은 센서 픽셀들이 더 낮은 해상도 이미지 센서에 대한 프레임에 대해 판독되기 때문에, 더 낮은 해상도 이미지 센서는 공통 동작 기간 동안 더 높은 해상도 이미지 센서보다 더 적은 전력을 소비할 수도 있다. 상이한 전력 소비 레이트들은 대안적으로 또는 추가적으로 상이한 프레임 레이트들 (저전력 이미지 센서는 더 낮은 프레임 레이트를 가질 수도 있음), 상이한 샘플링 주파수들 (저전력 이미지 센서는 더 낮은 샘플링 주파수를 가질 수도 있음), 프레임 당 상이한 노출 윈도우 사이즈들 (저전력 이미지 센서는 더 작은 노출 윈도우 사이즈를 가질 수도 있음), 또는 상이한 픽셀 사이즈들 (저전력 이미지 센서는 더 큰 픽셀들을 가질 수도 있음) 에 기초할 수도 있다.
일부 구현들에서, 저전력 이미지 센서는 상시 접속 (always on; AO) 이미지 센서를 포함할 수도 있다. 본 명세서에서 사용된 바와 같이, AO 이미지 센서는 디바이스의 상이한 동작 상태들 및 디바이스 전력 상태들에 대해 계속 동작할 수도 있는 이미지 센서를 지칭한다. 예를 들어, AO 이미지 센서는 디바이스가 저전력 상태 (이를 테면 슬립 상태), 활성 상태 (이를 테면 디바이스가 사용자에 의해 사용 중일 때), 또는 디바이스가 파워 온되는 동안의 다른 적합한 상태에 있는 동안 활성화될 수도 있다. AO 이미지 센서인 저전력 이미지 센서는 다른 이미지 센서가 디바이스 동작의 선택 시간들 동안만 활성화되거나 동작할 수도 있다는 점에서 다른 이미지 센서와 상이할 수도 있다. 예를 들어, 디바이스가 저전력 상태 (이를 테면 비활성 상태 또는 슬립 상태) 에 있을 때, AO 이미지 센서는 이미지들을 계속 캡처할 수도 있는 한편, 다른 이미지 센서는 비활성화될 수도 있다. 예를 들어, 고전력 이미지 센서는 디바이스가 비활성 상태 또는 슬립 상태에 있을 때 비활성화될 수도 있다. 고전력 이미지 센서는 출력을 위한 더 나은 신호 대 노이즈비, 더 나은 픽셀 밀도, 더 많은 동적 범위의 광 주파수 응답, 또는 저전력 이미지 센서보다 더 나은 다른 정량화가능한 척도를 갖는 이미지 센서를 포함할 수도 있다.
일부 구현들에서, 저전력 이미지 센서는 (고전력 이미지 센서와 같은) 다른 이미지 센서들보다 더 낮은 프레임 레이트 또는 더 낮은 샘플링 주파수를 포함할 수도 있다. 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서보다 더 적은 횟수로 판독되기 때문에 (각각의 판독은 정의된 양의 전력 소비를 요구함), 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지보다 더 적은 전력을 소비할 수도 있다.
일부 구현들에서, 저전력 이미지 센서는 고전력 이미지 센서보다 더 많은 픽셀들을 포함할 수도 있다. 본 명세서에서 사용된 바와 같이, 픽셀의 사이즈는 픽셀의 광검출기에 의해 측정될 광자들을 수신하기 위한 감광성 영역을 지칭한다. 픽셀 사이즈를 증가시키는 것은 광감성 영역을 증가시키는 것을 의미한다. 이러한 방식으로, 더 큰 사이즈 픽셀은 동일한 사이즈 노출 윈도우 동안 동일한 주변 조명으로부터 더 작은 사이즈 픽셀보다 더 많은 광자들을 수신한다. 일부 구현들에서, 더 큰 픽셀에 대한 노출 윈도우 사이즈는 전력을 보존하기 위해 감소될 수도 있다. 노출 윈도우 사이즈가 감소할 때, 이미지 센서는 프레임 당 더 적은 전력을 소비할 수도 있다. 프레임 레이트가 더 큰 픽셀들을 갖는 저전력 이미지 센서와 다른 이미지 센서 사이에 동일하면, 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서보다 더 적은 전력을 소비할 수도 있다. 일부 구현들에서, 픽셀의 프레임 레이트는 노출 윈도우 사이즈가 감소될 때 증가될 수도 있다. 더 빠른 프레임 레이트로, 디바이스는 광 강도의 변화들을 더 빨리 검출할 수도 있다.
일부 구현들에서, 저전력 이미지 센서는 다른 이미지 센서보다 더 낮은 해상도를 포함할 수도 있다. 다른 이미지 센서에 대해서보다 저전력 이미지 센서에 대해 프레임 당 더 적은 픽셀들이 판독되기 때문에, 저전력 이미지 센서는 다른 이미지 센서보다 프레임에 걸쳐 더 적은 전력을 소비할 수도 있다. 프레임 레이트가 저전력 이미지 센서 (더 낮은 해상도를 가짐) 및 더 높은 해상도를 갖는 다른 이미지 센서에 대해 동일하면, 저전력 이미지 센서는 동일한 양의 시간에 걸쳐 다른 이미지 센서보다 더 적은 전력을 소비할 수도 있다. 저전력 이미지 센서가 더 낮은 해상도를 가질 수도 있지만, 해상도는 장면 내의 상이한 영역들에 대한 광 강도의 변화들을 측정하기에 적합할 수도 있다. 광 강도들이 프레임에 대한 저전력 이미지 센서 전체 (또는 그의 큰 부분) 에 걸쳐 변화하면, 디바이스는 그 변화가 로컬 모션 (객체가 장면에 들어감) 대신에 글로벌 모션 (카메라를 이동시킴) 의 결과라고 결정할 수도 있다. 광 강도들의 변화들이 저전력 이미지 센서의 시야의 일부에만 있는 경우, 디바이스는 그 변화가 로컬 모션 (객체가 장면에서 이동함) 의 결과라고 결정할 수도 있다. 예를 들어, 저전력 이미지 센서의 외부 픽셀들 (이를 테면 에지 픽셀들) 은 먼저 저전력 이미지 센서의 시야에 들어가는 객체에 대한 상이한 광 강도를 측정할 수도 있다. 이웃하는 픽셀들은 그 다음 객체가 저전력 이미지 센서의 시야의 중간에 접근함에 따라 상이한 광 강도를 측정할 수도 있다. 추가적인 픽셀들은 객체가 저전력 이미지 센서의 시야의 중심으로 이동할 때까지 상이한 광 강도를 측정할 수도 있다. 이 때, 저전력 이미지 센서의 중심 픽셀들은 상이한 광 강도를 측정할 수도 있다. 다른 예에서, 이웃하는 픽셀들은 객체가 프레임들 동안 장면을 가로질러 이동함에 따라 프레임들에 걸쳐 상이한 광 강도들을 측정할 수도 있다. 예를 들어, 사용자가 시야를 가로질러 자신의 손을 움직이면, 저전력 이미지 센서에서 일 측면으로부터 다른 측면으로 픽셀들의 시퀀스가 프레임들에 걸쳐 상이한 광 강도들을 측정하게 한다. 이러한 방식으로, 디바이스는 장면에서 움직이는 객체를 추적할 수도 있다. 상이한 광 강도를 측정하는 것은 이전 프레임에서의 광 강도와는 상이한 후속 프레임에서의 광 강도를 측정하는 것을 지칭한다. 일부 구현들에서, 상이한 광 강도는 (노이즈에 기인한 광 강도의 변동들을 필터링하기 위해) 프레임들 사이의 임계치보다 큰 픽셀 (또는 픽셀들의 영역) 에 의해 측정된 광 강도들의 차이를 지칭할 수도 있다.
저전력 이미지 센서는 장면에 들어가는 객체들을 검출하기에 충분한 해상도를 가질 수도 있지만, 저전력 이미지 센서는 디바이스에 의해 수행될 동작을 위해 충분한 해상도를 갖지 않을 수도 있다. 예를 들어, 저전력 이미지 센서는 가능한 얼굴이 이미지 센서의 시야의 중심을 향해 이동하는지를 결정하기 위해 객체 검출을 위해 사용되기에 충분한 해상도를 가질 수도 있지만, 저전력 이미지 센서의 해상도는 얼굴 인식을 위해 충분하지 않을 수도 있다. 일 예에서, 저전력 이미지 센서는 (이를 테면 광 강도들의 변화들에 기초하여) 얼굴이 장면에 존재하는지를 검출하는데 사용될 수도 있지만, 저전력 이미지 센서는 (눈, 코, 또는 입, 또는 눈, 코, 또는 입 사이의 공간, 또는 눈을 뜨고 있는지 여부를 식별하는 것과 같이) 장면에서 얼굴을 식별하기 위해 사용되기에 충분한 해상도를 포함하지 않을 수도 있다. 고전력 이미지 센서는 얼굴을 식별함에 있어서 얼굴 인식을 위해 사용될 수도 있다. 다른 예에서, 저전력 이미지 센서는 디바이스로의 제스처 커맨드들을 위한 사용자 제스처 (이를 테면, 팔을 좌측, 우측, 위, 또는 아래로 흔드는 것) 를 식별하는데 사용될 수도 있다. 디바이스는 (손전등 동작을 위해 플래시에 전력을 공급하는 것, 볼륨을 조정하는 것, 디스플레이 밝기를 조정하는 것 등과 같은) 제스처와 연관된 동작을 수행할 수도 있다. 수행될 디바이스 동작이 카메라 동작인 경우, 고전력 이미지 센서는 사용자 제스처에 기초한 이미징을 위해 사용될 수도 있다. 디바이스 동작이 능동 심도 감지인 경우, 고전력 이미지 센서는 능동 심도 감지를 위해 광의 반사들을 수신하도록 구성된 이미지 센서일 수도 있다.
객체 검출 이외의 추가 예에서, 저전력 이미지 센서는 장면에서 시간 또는 공간 이벤트들을 결정하기 위해 이미지 분석 또는 비디오 콘텐츠 분석을 위해 사용되는 광 정보를 캡처할 수도 있다. 예를 들어, 저전력 이미지 센서의 측정들은 장면의 글로벌 모션 또는 로컬 모션의 양, 장면의 전체 광 강도, 시간에 걸친 전체 광 강도의 변화, 장면의 상이한 부분들에 걸친 광 강도들의 범위 등을 결정하는데 사용될 수도 있다. 그 다음, 정보는 하나 이상의 이미지 프레임들을 캡처하기 위한 (이를 테면 스틸 이미지들을 위한 또는 비디오를 위한) 고전력 이미지 센서를 구성하는데 사용될 수도 있다. 예를 들어, 정보는 초기 노출 설정을 설정하는데 사용되거나 그렇지 않으면 이미지 캡처를 위한 고전력 이미지 센서를 구성하는데 있어서 사용될 수도 있다.
저전력 이미지 센서 (이를 테면 AO 이미지 센서) 의 경우, 제 1 디바이스 모드는 (저전력 이미지 센서가 사용되는) 저전력 모드일 수도 있고, 제 2 디바이스 모드는 (고전력 이미지 센서가 사용되는) 활성 모드일 수도 있다. 일 예에서, 저전력 모드는 얼굴이 디스플레이의 전방에 있을 수도 있는 때를 검출하기 위해 스마트폰의 전방 측면 (디스플레이를 포함하는 측면) 으로부터 광 정보를 캡처하도록 AO 이미지 센서를 사용하는 것을 포함할 수도 있다. 스마트폰이 저전력 모드에서 얼굴을 검출하면, 스마트폰은 활성 모드로 스위칭할 수도 있다. 활성 모드는 얼굴 인식을 위해 고전력 이미지 센서를 사용하는 것을 포함할 수도 있다. 디바이스 모드들을 스위칭하는 것은 양자의 이미지 센서들이 스마트폰의 전방으로부터 동일한 애퍼처를 사용하도록 OE 모드들을 스위칭하는 것을 포함할 수도 있다. 이러한 방식으로, 디바이스는 프롬프트 없이 (이를 테면 사용자에게, 터치 감응 디바이스 디스플레이를 스와이프하거나, 디바이스 디스플레이를 파워 온하거나, 그렇지 않으면 얼굴 잠금해제를 수행하도록 디바이스에 지시할 것을 요구하지 않음) 얼굴 잠금해제 또는 다른 얼굴 인식 동작들을 수행할 수도 있다. 저전력 이미지 센서 (이를 테면 AO 이미지 센서) 는 또한, (장면에서의 사용자 얼굴 또는 사용자 제스처에 기초하는 것과 같이) 저전력 모드로부터 웨이크 업하거나 그렇지 않으면 스스로를 제거할 때를 결정하기 위해 디바이스에 의해 사용될 수도 있다.
다시 도 3a 를 참조하면, 제 1 애퍼처 (320) 는 디바이스 (300) 의 임의의 측면에 입사되는 광을 수신하도록 구성될 수도 있다. 예를 들어, 디바이스 (300) 가 스마트폰인 경우, 제 1 애퍼처 (320) 는 스마트폰의 임의의 측면 상에 포지셔닝될 수도 있다. 디바이스 (300) 가 제 2 애퍼처 (322) 를 포함하는 경우, 제 2 애퍼처 (322) 는 또한 디바이스 (300) 의 임의의 측면에 입사되는 광을 수신하도록 구성될 수도 있다. 예를 들어, 제 2 애퍼처 (322) 는 스마트폰의 임의의 측면 상에 포지셔닝될 수도 있다. 일부 구현들에서, 스마트폰들 (320 및 322) 은 상이한 측면들 (이를 테면 (디스플레이 (314) 를 포함하는 측면에 대향하는 측면 상의) 하나의 후면 및 (디스플레이 (314) 를 포함하는 측면 상의) 하나의 전면) 상에 포지셔닝된다. 일부 다른 구현들에서, 애퍼처들 (320 및 322) 은 동일한 측면 (이를 테면 양자 모두 후면이거나 양자 모두 전면임) 상에 포지셔닝될 수도 있다.
제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 는 임의의 적합한 이미지 센서일 수도 있고 임의의 적합한 방식으로 구성될 수도 있다. 위에서 언급된 바와 같이, 제 1 이미지 센서 (302) 는 저전력 이미지 센서일 수도 있고, 제 2 이미지 센서 (303) 는 고전력 이미지 센서일 수도 있다. 제 1 이미지 센서 (302) 는 제 1 디바이스 모드 (이를 테면 저전력 모드) 동안 활성화될 수도 있는 한편, 제 2 이미지 센서 (303) 는 제 2 디바이스 모드 (이를 테면 활성 모드) 동안 활성화될 수도 있다. 일부 다른 구현들에서, 제 1 이미지 센서 (302) 는 제 1 FOV (이를 테면 망원 FOV) 를 갖는 이미지들을 캡처하도록 구성되고, 제 2 이미지 센서 (303) 는 제 2 FOV (이를 테면 광 FOV 또는 초광 FOV) 를 갖는 이미지들을 캡처하도록 구성된다. FOV 는 이미지 캡처를 위해 이미지 센서를 향해 광을 지향시키도록 구성된 하나 이상의 렌즈들에 기초할 수도 있거나 또는 이미지 센서의 사이즈에 기초할 수도 있다.
일부 다른 구현들에서, 제 1 이미지 센서 (302) 는 제 1 줌 팩터와 연관되고, 제 2 이미지 센서 (303) 는 제 2 줌 팩터와 연관된다. 예를 들어, 하나 이상의 렌즈들은 제 1 이미지 센서 (302) 에 대한 장면을 확대하도록 구성될 수도 있고, 장면은 제 2 이미지 센서 (303) 에 대해 확대되지 않을 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (302) 는 제 2 이미지 센서 (303) 와 연관된 줌 팩터보다 더 큰 줌 팩터와 연관된다.
일부 다른 구현들에서, 제 1 이미지 센서 (302) 는 제 1 피사계 심도와 연관되고, 제 2 이미지 센서 (303) 는 제 2 피사계 심도와 연관된다. 예를 들어, 하나 이상의 렌즈들은 제 1 이미지 센서 (302) 에 의해 캡처된 이미지들에 대해 초점이 맞게 제 1 심도들의 범위에서의 장면의 부분을 배치하도록 구성될 수도 있다. 제 2 심도의 범위에서의 장면의 상이한 부분은 제 2 이미지 센서 (303) 에 의해 캡처된 이미지들에 대해 초점이 맞을 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (302) 는 제 1 피사계 심도의 객체들의 이미지들을 캡처하는데 사용될 수도 있고, 제 2 이미지 센서 (303) 는 제 2 피사계 심도의 객체들의 이미지들을 캡처하는데 사용될 수도 있다.
일부 추가 구현들에서, 제 1 이미지 센서 (302) 는 컬러 필터 어레이 (이를 테면 RGB 컬러 필터 어레이 (CFA)) 에 커플링될 수도 있고, 제 2 이미지 센서 (303) 는 상이한 타입의 필터에 커플링될 수도 있거나 필터에 커플링되지 않을 수도 있다. 예시적인 필터들은 특정 파장 범위의 광에 대한 (이를 테면 특정 컬러에 대한, 적외선 광에 대한 등등의) 대역통과 필터를 포함한다. 본 명세서에서 사용된 바와 같이, 이미지 센서는 이미지 센서 자체 또는 이미지 센서 및 그 이미지 센서에 커플링된 하나 이상의 컴포넌트들을 지칭할 수도 있다. 예를 들어, 컬러 이미지 센서는 이미지 센서 및 연관된 컬러 CFA 를 지칭할 수도 있다. 다른 예에서, 적외선 (IR) 이미지 센서는 CFA 와 연관되지 않은 이미지 센서 또는 이미지 센서 및 IR 광 외부의 광의 적어도 일부를 필터링하기 위한 연관된 대역통과 필터를 지칭할 수도 있다. 추가 예에서, 단색 이미지 센서는 CFA 와 연관되지 않은 이미지 센서를 지칭할 수도 있다.
IR 이미지 센서는 IR 광을 수신하도록 구성된다. 일부 구현들에서, IR 이미지 센서는 IR 보다 큰 주파수들의 범위의 광을 수신하도록 구성된다. 예를 들어, 컬러 필터 어레이에 커플링되지 않은 이미지 센서는 (컬러 주파수들 및 IR 주파수들 양자 모두와 같은) 큰 범위의 주파수들로부터의 광에 대한 광 강도들을 측정 가능할 수도 있다. 일부 다른 구현들에서, IR 이미지 센서는 IR 광 주파수들에 특정한 광을 수신하도록 구성된다. 예를 들어, IR 이미지 센서는 IR 광과 연관되지 않은 주파수들의 범위 외부의 광을 필터링하기 위해 대역통과 필터를 포함하거나 그에 커플링될 수도 있다. 본 명세서에서 사용된 바와 같이, IR 광은 가시광 스펙트럼의 부분들 및/또는 육안으로 보이지 않는 광 스펙트럼의 부분들을 포함할 수도 있다. 일 예에 있어서, IR 광은 가시광 스펙트럼 내의 광을 포함할 수도 있거나 포함하지 않을 수도 있는 근적외선 (NIR) 광, 및/또는 가시광 스펙트럼 외부에 있는 IR 광 (이를 테면 원적외선 (FIR) 광) 을 포함할 수도 있다. 용어 IR 광은 IR 광의 파장 범위 내의 또는 그 근처의 특정 파장을 갖는 광으로 제한되지 않아야 한다. 추가로, IR 광은 능동 심도 감지를 위한 예시적인 방출로서 제공된다. 다음의 설명에서, 다른 적합한 파장들의 광은 이미지 센서에 의해 캡처되거나 능동 심도 감지를 위해 사용될 수도 있고, IR 이미지 센서 또는 능동 심도 감지는 IR 광 또는 IR 광의 특정 주파수로 제한되지 않는다.
메모리 (306) 는 (광학 엘리먼트의 포지션을 조정하기 위한 것과 같은) 본 개시에서 설명된 하나 이상의 동작들의 전부 또는 일부를 수행하기 위한 컴퓨터 실행가능 명령들 (308) 을 저장하는 비일시적 또는 비일시적인 (non-transient or non-transitory) 컴퓨터 판독가능 매체일 수도 있다. 프로세서 (305) 는 메모리 (306) 내에 저장된 (명령들 (308) 과 같은) 하나 이상의 소프트웨어 프로그램들의 명령들 또는 스크립트들을 실행 가능한 하나 이상의 적합한 프로세서들 (이를 테면 범용 프로세서들) 일 수도 있다. 예를 들어, 프로세서 (305) 는 애플리케이션 프로세서이고 이미징 애플리케이션을 실행할 수도 있다. 추가적인 또는 대안적인 양태들에서, 프로세서 (305) 는 프로세서 (305) 에 대한 소프트웨어의 사용 없이 본 개시에서 설명된 기능들 또는 동작들을 수행하기 위한 집적 회로들 또는 다른 하드웨어를 포함할 수도 있다.
프로세서 (305) 는 사용될 이미지 센서를 선택 (이를 테면 제 1 디바이스 모드 또는 제 2 디바이스 모드를 선택) 하고 광학 엘리먼트 (304) 를 제어 (이를 테면 제 1 OE 모드와 제 2 OE 모드 사이에서 스위칭) 하기 위한 제어기 (310) 를 포함한다. 일부 구현들에서, 제어기 (310) 는 (광학 엘리먼트 (304) 를 회전 또는 병진 이동시키는 것에 의해서와 같이) 광학 엘리먼트 (304) 의 포지션을 조정하도록 구성될 수도 있다. 예를 들어, 제어기 (310) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트 (304) 를 병진 이동시키도록 액추에이터에 명령할 수도 있다. 다른 예에서, 제어기 (310) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트 (304) 를 회전시키도록 액추에이터에 명령할 수도 있다.
일부 다른 구현들에서, 제어기 (310) 는 (전류 또는 다른 자극을 인가하는 것에 의해서와 같이) 광학 엘리먼트 (304) 의 상태를 조정하도록 구성될 수도 있다. 광학 엘리먼트의 상태는 자극에 기초하여 광학 엘리먼트 (304) 의 반사도 또는 투명도 (또는 굴절률) 를 포함할 수도 있다. 예를 들어, 제어기 (310) 는 전류가 제 1 OE 모드에 대해 광학 엘리먼트 (304) 에 인가되지 않게 하고 전류가 제 2 OE 모드에 대해 광학 엘리먼트 (304) 에 인가되게 할 수도 있다.
일부 구현들에서, 제어기 (310) 는 또한 이미지 캡처를 위해 어느 이미지 센서가 사용될지를 결정하거나 그렇지 않으면 제어한다. 예를 들어, 제어기 (310) 는 이미지 또는 비디오를 생성하기 위해 이미지 신호 프로세서 (312) 에 의해 제 1 이미지 센서에 의해 캡처된 이미지들의 스트림이 프로세싱되는지 또는 제 2 이미지 센서에 의해 캡처된 이미지들의 스트림이 프로세싱되는지를 선택한다. 다른 예에서, 이미지 신호 프로세서 (312) 는 양자의 이미지들의 스트림들을 프로세싱하고, 제어기 (310) 는 비디오의 이미지를 생성하기 위해 프로세싱된 스트림들 중 하나를 선택한다. 추가 예에서, 제어기 (310) 는 제 1 모드 동안 이미지들을 캡처하기 위해 제 1 이미지 센서를 (저전력 이미지 센서로서) 사용하고, 제어기 (310) 는 제 2 모드 동안 이미지들을 캡처하기 위해 제 2 이미지 센서를 (고전력 이미지 센서로서) 초기화한다. 예를 들어, 저전력 모드 동안, 스마트폰은 (디스플레이가 오프인 상태와 같이) 비활성화된다. 스마트폰은 제어기 (310) 가 저전력 이미지 센서로부터 이미지들을 수신하는 저전력 모드에 있을 수도 있다. 제어기 (310) (또는 이미지 신호 프로세서 (312)) 는 수신된 이미지 프레임들에 걸쳐 하나 이상의 픽셀들에 대한 광 강도의 차이를 결정할 수도 있다. 제어기 (310) 는 스마트폰을 웨이크 업하기 위한 사용자 제스처와 또는 스마트폰의 디스플레이 전방에 포지셔닝되는 얼굴과 연관된 광 강도의 변화들을 결정할 수도 있다. 제어기 (310) 는 그 다음 디스플레이를 웨이크 업할 수도 있다. 얼굴 인식이 (저전력 이미지 센서의 시야의 중심에 접근하는 얼굴을 검출하는 것에 의해서와 같이) 수행되어야 하는 경우, 제어기 (310) 는 디바이스 모드들을 활성 모드로 스위칭할 수도 있다. 일부 구현들에서, 제어기 (310) 는 고전력 이미지 센서가 동일한 디바이스 애퍼처를 사용하여 얼굴 인식을 위해 사용될 수도 있도록 OE 모드들을 스위칭한다. 이러한 방식으로, 디바이스 모드들 사이의 스위칭은 또한 광학 엘리먼트 (304) 의 상태를 조정하는 것을 포함할 수도 있다. 저전력 이미지 센서들 (이를 테면 AO 이미지 센서들) 의 일부 예시적인 사용들이 설명되지만, 임의의 적합한 사용이 구현될 수도 있고, 본 개시는 제공된 예들로 제한되지 않는다.
다시 도 3a 를 참조하면, 예시적인 디바이스 (300) 에서 프로세서 (305) 를 통해 서로 커플링되도록 도시되지만, 프로세서 (305), 메모리 (306), 이미지 신호 프로세서 (312), 옵션의 디스플레이 (314), 및 옵션의 I/O 컴포넌트들 (316) 은 다양한 배열들로 서로 커플링될 수도 있다. 예를 들어, 프로세서 (305), 메모리 (306), 이미지 신호 프로세서 (312), 옵션의 디스플레이 (314), 및 옵션의 I/O 컴포넌트들 (316) 은 하나 이상의 로컬 버스들 (간략화를 위해 도시되지 않음) 을 통해 서로 커플링될 수도 있다.
디스플레이 (314) 는, 사용자 상호작용을 허용하고 및/또는 (제 1 이미지 센서 (302) 또는 제 2 이미지 센서 (303) 로부터의 미리보기 이미지들, 캡처된 이미지들, 또는 비디오와 같은) 아이템들을 제시하기 위한 임의의 적합한 디스플레이 또는 스크린을 포함할 수도 있다. 일부 양태들에서, 디스플레이 (314) 는 터치 감응 디스플레이를 포함할 수도 있다. I/O 컴포넌트들 (316) 은, 사용자로부터 (커맨드들과 같은) 입력을 수신하고 사용자에게 출력을 제공하기 위한 임의의 적합한 메커니즘, 인터페이스, 또는 디바이스를 포함할 수도 있다. 예를 들어, I/O 컴포넌트들 (316) 은 그래픽 사용자 인터페이스, 키보드, 마우스, 마이크로폰 및 스피커들 등을 포함할 수도 있다. 센서들 (326) 은 모션 및 배향 센서들, 포지셔닝 센서들, 온도 센서들 등과 같은 임의의 적합한 센서들을 포함할 수도 있다. 모션 및 배향 센서들은 가속도계, 자이로스코프, 또는 자력계를 포함할 수도 있다. 포지셔닝 센서들은 글로벌 포지셔닝 시스템 (GPS) 수신기를 포함할 수도 있다.
일부 구현들에서, 디바이스 모드 또는 OE 모드는 디바이스 (300) 의 배향 또는 모션에 기초할 수도 있다. 디바이스 배향 또는 모션은 (자력계로부터의 측정들로부터 결정된 배향과 같은) 다수의 센서들 (326) 로부터의 하나 이상의 측정들에 기초하여 결정될 수도 있다. 추가로 또는 대안적으로, 디바이스의 배향 또는 모션은 다중 이미지 프레임들에 걸쳐 이미지 센서에 의해 캡처된 광 정보의 차이들로부터 결정될 수도 있다.
예시적인 사용 사례에서, 디바이스 (300) 는 저전력 상태에 있거나, 잠겨 있거나, 그렇지 않으면 스크린 잠금이 있는 스마트폰일 수도 있다. 디바이스 (300) 는 (디스플레이 (314) 와 병치된) 디바이스 (300) 의 전방 측면 상에 제 1 애퍼처 (320) 를 포함할 수도 있고, 디바이스 (300) 는 디바이스 (300) 의 후방 측면 상에 (디스플레이 (314) 를 갖는 전방 측면에 대향하는 측면 상에) 제 2 애퍼처 (322) 를 포함할 수도 있다. 디바이스 (300) 는 사용자의 얼굴 인식에 기초하여 콘택리스 스크린 잠금해제를 수행하도록 구성될 수도 있다. 제 1 이미지 센서 (302) 는 얼굴이 제 1 이미지 센서 (302) 의 시야의 중심에 접근하는지 여부를 검출하는데 사용되는 저전력 이미지 센서일 수도 있다. 제 2 이미지 센서 (303) 는 얼굴 인식을 수행함에 있어서 사용되는 고전력 이미지 센서일 수도 있다. 이러한 방식으로, 제 1 디바이스 모드는 제 1 이미지 센서 (302) 에 의해 캡처된 이미지들에 기초한 객체 검출 모드를 포함할 수도 있고, 제 2 디바이스 모드는 제 2 이미지 센서 (303) 에 의해 캡처된 이미지들에 기초한 얼굴 인식 모드를 포함할 수도 있다.
얼굴 인식 (및 따라서 디바이스 (300) 의 OE 모드) 을 위해 어느 애퍼처가 사용될지는 디바이스 (300) 의 배향에 기초할 수도 있다. 디바이스 (300) 가 테이블, 의자, 또는 다른 표면 상에 전방 측면을 위로 향하여 배치되면, 제 2 애퍼처 (322) 는 표면을 향해 지향될 수도 있다. 그 결과, 제 1 애퍼처 (320) 는 얼굴 인식에 기초한 콘택리스 스크린 잠금해제를 위해 요구될 수도 있다. 디바이스 (300) 는 스크린이 잠겨 있는 동안 하나 이상의 센서들로부터 주기적 측정들을 수신할 수도 있다. 예를 들어, 디바이스 (300) 는 자력계로부터 주기적 측정들을 수신할 수도 있다. 제어기 (310) 는 자력계 측정들에 기초한 방위각과 관련하여 디바이스 (300) 의 배향을 결정할 수도 있다.
디바이스 (300) 의 결정된 배향이 전방 측면이 위로 향하고 방위각에 대략 수평인 경우, 제어기 (310) 는 제 1 애퍼처 (320) 가 제 1 디바이스 모드 (저전력 이미지 센서를 사용하는 객체 검출) 에 대해 그리고 제 2 디바이스 모드 (고전력 이미지 센서를 사용하는 얼굴 인식) 에 대해 사용될 것이라고 결정할 수도 있다. 이러한 방식으로, 제어기 (310) 는 얼굴이 시야 내에 있도록 대기하는 동안 디바이스 모드를 제 1 디바이스 모드로 설정할 수도 있고, 제어기 (310) 는 제 1 애퍼처 (320) 로부터의 광이 제 1 이미지 센서 (302) 를 향해 지향되도록 광학 엘리먼트 (304) 를 제어할 수도 있다. 제어기 (310) 가 장면에서 제 1 이미지 센서 (302) 의 시야의 중심을 향하는 얼굴 (또는 다른 객체) 을 검출할 때, 제어기 (310) 는 이미지 캡처를 위해 제 2 이미지 센서 (303) 를 사용하는 것을 시작하도록 디바이스 모드들을 스위칭할 수도 있다. 디바이스 모드들을 스위칭함에 있어서, 제어기 (310) 는 제 2 이미지 센서 (303) 를 초기화하거나 비활성 상태로부터 제 2 이미지 센서 (303) 를 제거할 수도 있다. 제어기 (310) 는 또한, 제 1 애퍼처 (320) 로부터의 광이 제 2 이미지 센서 (303) 를 향해 지향되도록 OE 모드를 스위칭할 수도 있다. 그 다음, 얼굴 인식이 제 2 이미지 센서 (303) 로부터의 이미지들을 사용하여 수행될 수도 있다.
디바이스 (300) 가 표면을 향해 전방 측면을 아래로 향하게 배향되면, 제 1 애퍼처 (320) 는 표면을 향해 지향된다. 배향은 자력계 측정들, 제 1 이미지 센서 (302) 또는 제 2 이미지 센서 (303) 로부터의 광 강도 정보, 또는 다른 적합한 배향 센서들로부터의 측정들로부터 결정될 수도 있다. 이 예에서, 제 1 디바이스 모드 동안 객체 검출 및 제 2 디바이스 모드 동안 얼굴 인식을 위해 제 2 애퍼처 (322) 를 사용하는 것이 바람직할 수도 있다. 제어기 (310) 는 제 1 디바이스 모드 동안 제 2 애퍼처 (322) 로부터의 광을 제 1 이미지 센서 (302) 를 향해 지향시키고 제 2 디바이스 모드 동안 제 2 애퍼처 (322) 로부터의 광을 제 2 이미지 센서 (303) 를 향해 지향시키도록 광학 엘리먼트 (304) 를 제어할 수도 있다.
이미지 신호 프로세서 (312) 는 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 로부터의 캡처된 이미지들을 프로세싱하도록 구성될 수도 있다. 일부 구현들에서, 이미지 신호 프로세서 (312) 는 이미지 프로세싱 파이프라인의 하나 이상의 필터들을 포함하고, 필터들은 프로세서 (305) 로부터의 명령들에 기초하여 구성될 수도 있다. 예를 들어, 이미지 신호 프로세서 (312) 는 노이즈 감소 필터, 에지 향상 필터, 이미지 안정화 필터, 컬러 보정 필터, 및 프로세싱 동안 이미지 또는 비디오에 적용되는 다른 필터들을 포함할 수도 있다.
일부 양태들에서, 이미지 신호 프로세서 (312) 는 메모리로부터의 명령들 (이를 테면 메모리 (306) 로부터의 명령들 (308) 또는 이미지 신호 프로세서 (312) 에 커플링되거나 포함된 별도의 메모리에 저장된 명령들) 을 실행할 수도 있다. 일부 다른 양태들에서, 이미지 신호 프로세서 (312) 는 본 개시에서 설명된 하나 이상의 동작들을 수행하기 위한 특정 하드웨어를 포함할 수도 있다. 일부 추가 양태들에서, 이미지 신호 프로세서 (312) 는 특정 하드웨어와 소프트웨어 명령들을 실행하는 능력의 조합을 포함할 수도 있다.
광학 엘리먼트 (304) 는 OE 모드들 사이에서 스위칭하도록 일부 방식으로 조정될 수도 있다. 예를 들어, 광학 엘리먼트 (304) 는 제 1 OE 모드 동안 제 1 광학 경로 (301) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시키기 위해 (미러와 같은) 반사 표면 또는 (펜타프리즘과 같은) 굴절 엘리먼트를 포함할 수도 있다. 제 2 OE 모드로 스위칭할 때, 광학 엘리먼트 (304) 는 병진 이동될 수도 있거나, 회전될 수도 있거나, 그렇지 않으면 제 1 광학 경로 (301) 로부터의 광이 제 1 이미지 센서 (302) 로 지향되지 않도록 조정될 수도 있다. 예를 들어, 제 1 광학 경로 (301) 로부터의 광은 제 2 OE 모드 동안 제 2 이미지 센서 (303) 로 지향될 수도 있다.
디바이스 (300) 가 제 2 애퍼처 (322) 및 제 2 광학 경로 (324) 를 포함하는 경우, 광학 엘리먼트 (304) 는 제 1 OE 모드 동안 제 2 광학 경로 (324) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시키도록 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (304) 는 제 1 OE 모드 동안 제 2 광학 경로 (324) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시키기 위해 제 2 반사 표면 또는 제 2 굴절 엘리먼트를 포함할 수도 있다. 제 2 OE 모드로 스위칭할 때, 광학 엘리먼트 (304) 는 병진 이동될 수도 있거나, 회전될 수도 있거나, 그렇지 않으면 제 2 광학 경로 (324) 로부터의 광이 제 2 이미지 센서 (303) 로 지향되지 않도록 조정될 수도 있다. 예를 들어, 제 2 광학 경로 (324) 로부터의 광은 디바이스 (300) 의 제 2 모드 동안 제 1 이미지 센서 (302) 로 지향될 수도 있다.
이러한 방식으로, 제 1 광학 경로 (301) 를 따른 광은 제 1 OE 모드에 있을 때 제 1 이미지 센서 (302) 로 지향될 수도 있고, 제 1 광학 경로 (301) 를 따른 광은 제 2 OE 모드에 있을 때 제 2 이미지 센서 (303) 로 지향될 수도 있다. 광학 엘리먼트의 예시적인 동작들 및 구성들은 도 4a-도 6h 를 참조하여 더 상세히 설명된다.
본 명세서에 언급된 바와 같이, 하나 이상의 애퍼처들 (320 및 324) 은 임의의 적합한 방식으로 배향될 수도 있고, 이미지 센서들 (302 및 303) 은 임의의 적합한 목적을 위해 구성될 수도 있다. 제 1 애퍼처 (320) 는 디바이스 (300) 의 임의의 측면 상에 있을 수도 있다. 예를 들어, 제 1 애퍼처 (320) 는 스마트폰 상의 디스플레이와 함께 병치될 수도 있거나 (디바이스의 전방), 제 1 애퍼처 (320) 는 디스플레이에 대향하는 스마트폰의 측면 상에 위치될 수도 있다 (디바이스의 후방). 디바이스 (300) 가 양자의 애퍼처들 (320 및 324) 을 포함하는 경우, 애퍼처들은 임의의 적합한 측면 상에 있을 수도 있고, 이미지 센서들 (302 및 303) 을 사용하여 수행될 동작들에 의존하여 동일한 측면 상에 또는 상이한 측면들 상에 있을 수도 있다. 도 3b-도 3g 는 애퍼처들의 일부 예시적인 구성들 및 다중 이미지 센서들에 대한 일부 예시적인 동작들 및 사용 사례들을 예시한다. 도 3b-도 3g 의 예시적인 디바이스들은 스마트폰으로서 예시되지만, 임의의 적합한 디바이스 또는 구성의 컴포넌트들이 본 개시의 양태들을 수행하는데 사용될 수도 있다. 도면들의 예시적인 디바이스들은 도 3a 의 디바이스 (300) 의 예시적인 구현들이지만, 임의의 적합한 디바이스 또는 구성이 사용될 수도 있다.
도 3b 는 제 1 측면 상에 제 1 애퍼처 (332) 및 제 2 측면 상에 제 2 애퍼처 (334) 를 갖는 디바이스 (330) 의 도면을 도시한다. 예에서, 제 1 애퍼처 (332) 는 디스플레이 (331) 를 포함하는 스마트폰의 측면 상에 있다. 제 2 애퍼처 (334) 는 디스플레이 (331) 에 대향하는 스마트폰의 측면 상에 있다. 제 1 애퍼처 (332) 는 (셀피 이미지들을 캡처하고, 객체 검출 및 얼굴 인식을 위한 이미지들을 캡처하기 위한 등등의) 전면 이미지 캡처를 위한 것일 수도 있고, 제 2 애퍼처 (334) 는 (이를 테면 그룹 이미지들, 풍경 이미지들 등을 캡처하기 위한) 후면 이미지 캡처를 위한 것일 수도 있다.
디바이스 (330) 는 제 1 애퍼처 (332) 로부터 광을 수신하기 위해 제 1 이미지 센서 (302) 와 제 2 이미지 센서 (303) 사이에서 스위칭하도록 구성된다. 일 예에서, 제 1 이미지 센서 (302) 가 저전력 이미지 센서이고 제 2 이미지 센서 (303) 가 고전력 이미지 센서인 경우, 디바이스 모드는 디바이스 (300) 가 저전력 모드에 있는지 여부에 기초할 수도 있다. 다른 예에서, 제 1 이미지 센서 (302) 가 (이를 테면 광을 제 1 이미지 센서 (302) 로 지향시키도록 구성된 하나 이상의 렌즈들 또는 제 1 이미지 센서 (302) 의 사이즈에 기초하여) 망원 FOV 를 갖는 이미지들을 캡처하도록 구성되고, 제 2 이미지 센서 (303) 가 (이를 테면, 광을 제 2 이미지 센서 (303) 로 지향시키도록 구성된 하나 이상의 렌즈들 또는 제 2 이미지 센서 (303) 의 사이즈에 기초하여) 광 FOV 를 갖는 이미지들을 캡처하도록 구성되면, 디바이스 모드를 선택하는 것은 이미지 또는 비디오에 대한 원하는 FOV 에 기초할 수도 있다. 그 결과, 디바이스 (330) 는 어느 이미지 센서가 선택되는지에 기초하여 (망원 FOV 와 광 FOV 사이에서) 이미지 캡처를 위한 FOV 를 조정하도록 구성된다. 일 예에서, (제 1 애퍼처 (332) 로부터) 캡처될 셀피 이미지들에 대한 FOV 는 모드들 사이의 스위칭에 기초하여 조정될 수도 있다. 다른 예에서, 제 1 이미지 센서 (302) 가 (이를 테면 제 1 이미지 센서 (302) 에 커플링된 하나 이상의 렌즈들에 기초하여) 제 1 광학 줌 또는 제 1 피사계 심도를 갖는 이미지들을 캡처하도록 구성되고, 제 2 이미지 센서 (303) 가 (이를 테면 제 2 이미지 센서 (303) 에 커플링된 하나 이상의 렌즈들에 기초하여) 제 2 광학 줌 또는 제 2 피사계 심도를 갖는 이미지들을 캡처하도록 구성되면, 디바이스 (330) 는 디바이스 모드에 기초하여 이미지 캡처를 위한 광학 줌 또는 피사계 심도를 조정하도록 구성된다. 이러한 방식으로, (제 1 애퍼처 (332) 로부터) 캡처될 셀피 이미지들에 대한 광학 줌 또는 피사계 심도는 디바이스 모드들 사이의 스위칭에 기초하여 조정될 수도 있다. 디바이스 모드들 사이에서 스위칭할 때는 사용자 입력에 기초할 수도 있거나, 디바이스 (330) 가 (이를 테면 상이한 FOV들 내의 객체 추적, 이미지 캡처를 위한 줌 기능을 수행할 때 줌 팩터에 대한 변경들 등에 기초하여) 스위칭할 때를 자동으로 결정할 수도 있다.
디바이스 (330) 의 후방 상의 제 2 애퍼처 (334) 는 (제 1 OE 모드 동안과 같이) 제 1 애퍼처 (332) 가 제 1 이미지 센서 (302) 에 커플링될 때 제 2 이미지 센서 (303) 에 커플링될 수도 있다. 반대로, 제 2 애퍼처 (334) 는 (제 2 OE 모드 동안과 같이) 제 1 애퍼처 (332) 가 제 2 이미지 센서 (303) 에 커플링될 때 제 1 이미지 센서 (302) 에 커플링될 수도 있다. 이러한 방식으로, 디바이스 (330) 가 FOV, 광학 줌, 또는 피사계 심도를 조정함에 있어서 OE 모드들을 스위칭하는 경우, 디바이스 (330) 는 디바이스 (330) 의 후방으로부터 이미지 캡처를 위한 FOV, 광학 줌, 또는 피사계 심도를 조정할 수도 있다. 예를 들어, 제 2 애퍼처 (334) 를 사용한 이미지 캡처를 위한 피사계 심도는 이미지에서 캡처될 타겟 객체의 심도에 기초하여 OE 모드들을 스위칭함으로써 조정될 수도 있다. 다른 예에서, 제 2 애퍼처 (334) 를 사용한 이미지 캡처를 위한 FOV 는 (사람의 이미지 캡처를 위한 망원 FOV 및 풍경의 이미지 캡처를 위한 광 FOV 와 같이) 캡처될 이미지들의 타입에 기초하여 OE 모드들을 스위칭함으로써 조정될 수도 있다. 디바이스 모드들 또는 OE 모드들 사이에서 스위칭할 때는 사용자 입력에 기초할 수도 있거나, 디바이스 (330) 가 (이를 테면 캡처될 객체 또는 장면 및 그 심도, FOV 와 관련한 사이즈 등을 자동으로 검출하는 것에 기초하여) 스위칭할 때를 자동으로 결정할 수도 있다. 이러한 방식으로, 전면 이미지들 (제 1 애퍼처 (332) 를 사용하여 캡처됨) 및 후면 이미지들 (제 2 애퍼처 (334) 를 사용하여 캡처됨) 양자 모두는 디바이스 (330) 의 모드에 기초하여 조정가능한 FOV들, 광학 줌들, 피사계 심도들 등을 가질 수도 있다.
일부 다른 구현들에서, 제 1 애퍼처 및 제 2 애퍼처는 디바이스의 동일한 측면 상에 있을 수도 있다. 도 3c 는 디스플레이 (336) 를 포함하는 측면 상에 제 1 애퍼처 (337) 및 제 2 애퍼처 (338) 를 갖는 디바이스 (335) 의 도면을 도시한다. 도 3d 는 디스플레이에 대향하는 측면 상에 제 1 애퍼처 (341) 및 제 2 애퍼처 (342) 를 갖는 디바이스 (340) 의 도면을 도시한다. 제 1 이미지 센서 (302) 는 제 1 OE 모드 동안 제 1 애퍼처 (337 또는 341) 로부터 광을 수신할 수도 있고, 제 2 이미지 센서 (303) 는 제 2 OE 모드 동안 제 1 애퍼처 (337 또는 341) 로부터 광을 수신할 수도 있다. 반대로, 제 1 이미지 센서 (302) 는 제 2 OE 모드 동안 제 2 애퍼처 (338 또는 342) 로부터 광을 수신할 수도 있고, 제 2 이미지 센서 (303) 는 제 1 OE 모드 동안 제 2 애퍼처 (338 또는 342) 로부터 광을 수신할 수도 있다. 도 3c 에서, 제 1 애퍼처 (337) 는 거리 (339) 만큼 제 2 애퍼처 (338) 로부터 분리된다. 도 3d 에서, 제 1 애퍼처 (341) 는 거리 (343) 만큼 제 2 애퍼처 (342) 로부터 분리된다.
제 1 애퍼처 (337 또는 341) 및 제 2 애퍼처 (338 또는 342) 가 장면의 동일한 (또는 오버랩하는) 부분으로부터 광을 수신하도록 구성되면, 제 1 애퍼처 (337 또는 341) 및 제 2 애퍼처 (338 또는 342) 는 상이한 관점 (perspective) 들로부터 장면 부분의 이미지들을 캡처하도록 이미지 센서에 의해 사용될 수도 있다. 예를 들어, 제 1 애퍼처 (337) 가 제 1 OE 모드 동안 제 1 이미지 센서 (302) 에 커플링되고, 제 2 애퍼처 (338) 가 제 2 OE 모드 동안 제 1 이미지 센서 (302) 에 커플링되는 경우, 제 1 이미지 센서 (302) 를 사용한 이미지 캡처를 위한 관점은 OE 모드들을 스위칭하는 것에 기초하여 조정될 수도 있다. 유사하게, 제 2 이미지 센서 (303) 를 사용한 이미지 캡처를 위한 관점은 OE 모드들을 스위칭하는 것에 기초하여 조정될 수도 있다.
OE 모드는 디바이스 모드 동안 스위칭될 수도 있다. 이러한 방식으로, 제 1 디바이스 모드의 디바이스는 이미지들 또는 비디오를 캡처하기 위해 제 1 이미지 센서 (302) 를 사용하고, 제 1 이미지 센서 (302) 는 제 1 디바이스 모드 동안 OE 모드에 기초하여 상이한 관점들로부터 이미지들을 캡처할 수도 있다.
디바이스는 입체 이미징 또는 비전을 위해 제 1 이미지 센서 (302) 및/또는 제 2 이미지 센서 (303) 에 의한 이미지 캡처를 위한 관점들의 차이를 사용하도록 구성될 수도 있다. 예를 들어, 디바이스는 제 1 OE 모드와 제 2 OE 모드 사이에서 교번할 수도 있고, 따라서 제 1 이미지 센서 (302) 는 제 1 관점으로부터의 하나 이상의 이미지들 및 제 2 관점으로부터의 하나 이상의 이미지들을 캡처하는 것 사이에서 교번한다. 제 1 OE 모드 동안 캡처된 이미지는 제 2 OE 모드 동안 캡처된 이미지와 쌍을 이룰 수도 있고, 이미지들 사이의 시차 (parallax) 는 3 차원 이미지를 생성하는데 사용될 수도 있다. 디바이스가 충분한 레이트 (이를 테면 초당 10 내지 60 회) 로 교번하면, 3 차원 이미지들의 스트림이 3 차원 비디오에 대해 생성될 수도 있다.
일부 구현들에서, 제 1 이미지 센서 (302) 가 저전력 이미지 센서이고 제 2 이미지 센서 (303) 가 고전력 이미지 센서일 때, 제 1 이미지 센서 (302) 는 제 1 디바이스 모드 동안 장면 분석을 위해 사용될 수도 있고, 제 2 이미지 센서는 제 2 디바이스 모드 동안 장면 분석 후 이미지 캡처를 위해 사용될 수도 있다. 예를 들어, 저전력 이미지 센서의 이미지들은 노출 설정 또는 제 2 이미지 센서 (303) 에 대한 다른 적합한 캡처 설정을 결정하는데 사용될 수도 있다. 디바이스는 제 2 이미지 센서 (303) 가 결정된 캡처 설정들을 사용하여 구성되는 제 2 디바이스 모드로 스위칭할 수도 있다. 디바이스의 동일한 측면 상의 애퍼처들은 상이한 관점들, 상이한 FOV들, 상이한 피사계 심도들, 또는 다른 상이한 특성들과 연관될 수도 있다. 이러한 방식으로, 제어기 (310) 는 이미지 캡처를 위해 어느 관점, FOV, 피사계 심도, 또는 다른 특성이 요구되는지에 기초하여 OE 모드를 결정할 수도 있다. 제 1 디바이스 모드에서, 원하는 애퍼처로부터의 광은 제 1 이미지 센서 (302) 를 향해 지향된다. 제 2 디바이스 모드에서, 제어기 (310) 는 원하는 애퍼처로부터의 광이 제 2 이미지 센서 (303) 를 향해 지향되도록 OE 모드를 스위칭할 수도 있다.
제 1 이미지 센서 (302) 가 제 1 애퍼처 (337 또는 341) 로부터 광을 수신하도록 구성될 때, 제 2 이미지 센서 (303) 는 제 2 애퍼처 (338 또는 342) 로부터 광을 수신하도록 구성될 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 는 장면의 오버랩하는 부분들 (또는 동일한 부분) 의 이미지들을 동시에 캡처한다. 일부 구현들에서, 제 1 이미지 센서 (302) 는 3 차원 이미징을 위한 이미지들을 캡처하도록 구성될 수도 있고, 제 2 이미지 센서 (303) 는 제 1 이미지 센서 (302) 및 그의 이미지 프로세싱 파이프라인을 구성하기 위한 하나 이상의 동작들을 돕도록 구성될 수도 있다. 예를 들어, 디바이스는 자동초점, 자동노출, 또는 AWB (automatic white balance) 동작들 (3A 동작들) 중 하나 이상을 수행하여 초점 설정, 노출 설정, 또는 AWB 설정을 결정한다. 제 2 이미지 센서 (303) 로부터의 캡처들은 제 1 이미지 센서 (302) (그의 연관된 이미지 프로세싱 파이프라인) 에 대한 자동초점, 자동노출, 또는 AWB 설정들을 결정하는데 사용될 수도 있다.
일부 다른 구현들에서, 제 1 이미지 센서 (302) 는 제 1 FOV, 제 1 광학 줌, 또는 제 1 피사계 심도를 갖는 3 차원 이미징과 연관될 수도 있고, 제 2 이미지 센서 (303) 는 제 2 FOV, 제 2 광학 줌 또는 제 2 피사계 심도를 갖는 3 차원 이미징과 연관될 수도 있다. 디바이스 (330) 는 상이한 FOV들, 줌 팩터들, 또는 피사계 심도들을 갖는 3 차원 이미지들을 동시에 생성할 수도 있다. 3 차원 비디오 (3 차원 이미지들의 연속을 포함함) 를 생성하는 일부 구현들에서, 디바이스는 디바이스 모드들 사이에서 스위칭할 수도 있다. 이러한 방식으로, 디바이스는 제 1 이미지 센서 (302) 로부터의 이미지들로부터 생성된 3 차원 이미지들 및 제 2 이미지 센서 (303) 로부터의 이미지들로부터 생성된 3 차원 이미지들을 사용하는 것 사이에서 스위칭하여 비디오를 생성할 수도 있다. 이러한 방식으로, 디바이스는 비디오 내의 장면에 대한 FOV, 줌, 또는 피사계 심도를 조정할 수도 있다.
제 1 애퍼처 (337 또는 341) 가 제 2 애퍼처 (338 또는 342) 와 장면의 동일한 부분으로부터 광을 수신하도록 구성되는 것에 대한 대안으로, 제 1 애퍼처 (337 또는 341) 또는 제 2 애퍼처 (338 또는 342) 는 장면의 상이한 부분들로부터 광을 수신하도록 구성될 수도 있다. 예를 들어, 디바이스 (340) 가 세로 배향으로 있을 때, 제 1 애퍼처 (341) 는 장면의 상부 부분으로부터 광을 수신하도록 구성될 수도 있고, 제 2 애퍼처는 장면의 하부 부분으로부터 광을 수신하도록 구성될 수도 있다. 상보적인 이미지들에서의 장면들의 상이한 부분들은 더 넓은 FOV 이미지를 생성하기 위해 함께 스티칭될 수도 있다. 스티칭 목적을 위해, 상부 부분 및 하부 부분은 일부 오버랩을 가질 수도 있다.
제 1 OE 모드에서, 제 1 이미지 센서 (302) 는 장면의 상부 부분의 하나 이상의 이미지들을 캡처하도록 구성된다. 제 2 OE 모드에서, 제 1 이미지 센서 (302) 는 장면의 하부 부분의 하나 이상의 이미지들을 캡처하도록 구성된다. 제 1 OE 모드 동안 제 1 이미지 센서 (302) 에 의해 캡처된 이미지는 제 2 OE 모드 동안 제 1 이미지 센서 (302) 에 의해 캡처된 이미지와 쌍을 이룰 수도 있고, 쌍을 이룬 이미지들은 제 1 이미지 센서 (302) 를 사용하여 생성된 이미지의 FOV 를 증가시키기 위해 결합 (이를 테면 함께 스티칭) 될 수도 있다. 이러한 방식으로, 디바이스 (304) 는 사용자에게 디바이스 (340) 를 이동시킬 것을 요구하지 않고 파노라마 이미지들을 생성하도록 구성될 수도 있다. 일부 구현들에서, 제 2 이미지 센서 (303) 로부터의 캡처들은 제 1 이미지 센서 (302) (및 그의 연관된 이미지 프로세싱 파이프라인) 에 대한 자동초점, 자동노출, 또는 AWB 설정들을 결정하는데 사용될 수도 있다. 일부 다른 구현들에서, 제 2 이미지 센서 (303) 는 제 1 이미지 센서 (302) 와 상이한 줌 팩터 또는 피사계 심도를 갖는 이미지들을 캡처하도록 구성된다. 이러한 방식으로, 디바이스 (340) 는 상이한 줌 팩터들 또는 피사계 심도들을 갖는 파노라마 이미지들을 생성하도록 구성될 수도 있다. 줌 팩터 또는 피사계 심도를 조정하는 것은 디바이스 (340) 가 디바이스 모드들을 스위칭하는 것 (및 따라서 어느 이미지 센서가 사용될지) 에 기초할 수도 있다. 조정가능한 줌 팩터들 또는 피사계 심도들을 갖는 3 차원 비디오의 예와 유사하게, 더 큰 FOV 를 갖는 비디오는 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 를 사용하여 생성된 이미지들 사이의 스위칭에 기초하여 조정가능한 줌 팩터 또는 피사계 심도를 포함할 수도 있다.
다시 도 3b 를 참조하면, 애퍼처들 (332 및 334) 이 디바이스 (330) 의 상이한 측면들 상에 있는 경우, 디바이스 (330) 는 (제 1 애퍼처 (332) 를 사용한 셀피 이미지 캡처 및 제 2 애퍼처 (334) 를 사용한 풍경의 이미지 캡처와 같은) 상이한 디바이스 측면들로부터의 동시 이미지 캡처를 위해 구성될 수도 있다. 이로써, 디스플레이 (331) 상의 그래픽 사용자 인터페이스 (GUI) 는 사용자가 어느 측면으로부터 이미지 캡처가 요구되는지, 및 FOV, 줌 팩터, 또는 피사계 심도 (이는 어느 디바이스 모드가 선택되는지에 영향을 미칠 수도 있음) 와 같은 이미지 캡처의 하나 이상의 특성들을 표시하도록 구성될 수도 있다.
도 3e 는 디바이스 (345) 의 제 1 측면으로부터의 그리고 디바이스 (345) 의 제 2 측면으로부터의 이미지 캡처 사이에서 스위칭하는 디바이스 (345) 의 도면을 도시한다. 디바이스 (345) 는 도 3b 의 디바이스 (330) 의 예시적인 구현일 수도 있다. 디바이스 (345) 가 카메라 애플리케이션을 실행하는 것에 기초하여, 디스플레이 (346) 는 카메라 애플리케이션에 대한 GUI 를 디스플레이할 수도 있다. GUI 는 디바이스 (345) 가 (이를 테면 제 1 이미지 센서 (302) 에 의해 캡처된 이미지 프레임들의 스트림으로부터 또는 제 2 이미지 센서 (303) 에 의해 캡처된 이미지 프레임들의 스트림으로부터) 이미지 또는 비디오를 캡처할 때를 표시하기 위해 사용자에 의해 사용되는 셔터 버튼 (347) 을 포함할 수도 있다. 제 1 OE 모드에서, 제 1 이미지 센서 (302) 는 (이를 테면 도 3b 의 제 1 애퍼처 (332) 를 사용하여) 디바이스 (345) 의 전방으로부터 이미지들을 캡처할 수도 있고, 제 2 이미지 센서 (303) 는 (이를 테면 도 3b 의 제 2 애퍼처 (334) 를 사용하여) 디바이스 (345) 의 후방으로부터 이미지들을 캡처할 수도 있다. OE 모드들을 스위칭함에 있어서, 전방 이미지 센서 (302) 는 디바이스 (345) 의 후방으로부터 이미지들을 캡처하고, 제 2 이미지 센서 (303) 는 디바이스 (345) 의 전방으로부터 이미지들을 캡처한다.
제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 는 디바이스 (345) 의 전방 및 후방으로부터 이미지들을 동시에 캡처할 수도 있다. 양자의 이미지 센서들 (302 및 303) 이 이미지 프레임들의 스트림을 동시에 캡처하는 경우, 사용자는 어느 측면으로부터 이미지 또는 비디오를 캡처할지를 결정할 수도 있다. 예를 들어, 디스플레이 (346) 는 사용자가 디바이스 (345) 가 이미지를 생성하도록 의도하는 방향에 기초하여 제 1 이미지 센서 (302) 또는 제 2 이미지 센서 (303) 로부터의 이미지 프레임들의 미리보기를 디스플레이할 수도 있다. 도 3e 의 좌측에서, 디스플레이 (345) 는 제 1 이미지 센서 (302) 에 의해 캡처될 수도 있는 셀피 이미지의 미리보기를 디스플레이한다. 사용자가 이미지가 디바이스 (345) 의 후방으로 캡처되도록 의도하면, 사용자는 카메라 스위치 (camera switch) (348) 를 선택할 수도 있다. GUI 의 카메라 스위치 (348) 는 (예시된 바와 같은) 버튼, 스크롤 휠, 슬라이더, 또는 다른 인터랙티브 객체일 수도 있고, (디스플레이 (346) 상의 탭, 디스플레이 (346) 상의 스와이프, 디바이스 (346) 의 셰이크, 가청 커맨드들 등과 같은) 임의의 적합한 사용자 입력을 수신하도록 구성될 수도 있다. 사용자가 카메라 스위치 (348) 를 누를 때, 디바이스 (345) 는 제 2 이미지 센서 (303) 로부터의 이미지 캡처들의 스트림으로부터의 미리보기를 디스플레이할 수도 있다.
제 1 이미지 센서 (302) 는 제 1 FOV, 제 1 줌 팩터, 또는 제 1 피사계 심도를 갖는 이미지들을 캡처하는 것과 연관될 수도 있고, 이미지 센서 (303) 는 제 2 FOV, 제 2 줌 팩터, 또는 제 2 피사계 심도를 갖는 이미지들을 캡처하는 것과 연관될 수도 있다. 사용자는 선호되는 FOV, 줌 팩터, 또는 피사계 심도를 표시할 수도 있다. 예를 들어, 사용자는 (줌 아웃하기 위해 - 를 누르고 줌 인하기 위해 + 를 누르는 것과 같이) 캡처될 이미지에 대한 줌 팩터를 표시하기 위해 선택 툴 (349) 을 사용할 수도 있다. 그 다음, 디바이스 모드는 줌 팩터에 기초하여 결정될 수도 있다. 예를 들어, 제 1 이미지 센서 (302) 가 0x 광학 줌과 연관되고 (렌즈들은 이미지 센서 (302) 에 의한 이미지 캡처를 위해 장면을 확대하지 않음) 제 2 이미지 센서 (303) 가 5x 광학 줌과 연관되면 (하나 이상의 렌즈들은 이미지 센서 (303) 에 의해 캡처된 이미지들에서 5 배 더 크게 나타나도록 장면을 확대함), 제 1 이미지 센서 (302) 는 0x 와 5x 사이의 임계치보다 작은 사용자 선택된 줌 팩터에 대한 이미지 캡처를 위해 사용될 수도 있다. 디바이스 (345) 가 셀피 이미지를 캡처할 것이고 줌 팩터가 임계치보다 작으면, 디바이스 (345) 는 셀피 이미지 캡처를 위한 제 1 디바이스 모드에 있다. 제 2 이미지 센서 (303) 는 임계치보다 큰 사용자 선택된 줌 팩터에 대한 이미지 캡처를 위해 사용될 수도 있다. 셀피 이미지를 캡처하기 위한 디바이스 (345) 가 임계치보다 큰 줌 팩터의 표시를 수신하면, 디바이스 (345) 는 셀피 이미지 캡처를 위한 제 2 디바이스 모드에 있다. 일부 다른 구현들에서, 사용자는 이미지 캡처를 위한 모드 (또는 사용될 이미지 센서) 를 명시적으로 표시할 수도 있다.
디바이스 모드를 FOV, 줌 팩터, 또는 피사계 심도에 기초하게 하는 것은 디바이스의 동일한 측면 상에 양자의 애퍼처들을 갖는 도 3c 의 디바이스 (335) 또는 도 3d 의 디바이스 (340) 에도 적용될 수도 있다. 예를 들어, 사용자는 원하는 FOV, 줌 팩터, 또는 피사계 심도를 표시할 수도 있고, 이미지 캡처를 위한 이미지 센서는 사용자 표시에 기초할 수도 있다. 도 3f 는 디바이스 (350) 에 의해 캡처된 이미지들에 대한 FOV 또는 줌 팩터를 조정하는 디바이스 (350) 의 도면을 도시한다. 디바이스 (350) 는 도 3d 의 디바이스 (340) 의 예시적인 구현일 수도 있으며, 따라서 디바이스 (350) 의 후방 상에 2 개의 애퍼처들을 포함할 수도 있다. 디스플레이 (351) 는 카메라 애플리케이션을 위한 GUI 를 디스플레이하고, GUI 는 디바이스 (350) 가 이미지 또는 비디오를 캡처할 때를 표시하기 위한 셔터 버튼 (352) 을 포함할 수도 있다. GUI 는 또한 FOV 또는 줌 팩터를 표시하기 위한 선택 툴 (353) 을 포함할 수도 있다. 줌 팩터 예의 경우, 제 1 이미지 센서 (302) 는 0x 줌 팩터와 연관될 수도 있고, 제 2 이미지 센서 (303) 는 5x 줌 팩터와 연관될 수도 있다. 사용자는 선택 툴 (353) 상의 T 를 누르거나, 선택 툴 (353) 의 중간에 있는 슬라이더를 T 를 향해 이동시키거나, 선택 툴 (353) 을 오른쪽으로 스와이프하거나, 햅틱 또는 가청 명령을 제공하거나, 다른 적합한 입력을 제공함으로써 캡처될 이미지에 대해 줌 인할 수도 있다. FOV 예의 경우, 제 1 이미지 센서 (302) 는 제 2 이미지 센서 (303) 보다 큰 FOV 와 연관될 수도 있다. 사용자는 선택 툴 (353) 상의 (이를 테면 광각을 위한) W 를 누르거나, 선택 툴 (353) 의 중간에 있는 슬라이더를 W 를 향해 이동시키거나, 선택 툴 (353) 을 왼쪽으로 스와이프하거나, 햅틱 또는 가청 명령을 제공하거나, 또는 다른 적합한 입력을 제공함으로써 캡처될 이미지에 대한 FOV 를 증가시킬 수도 있다. 디스플레이 (351) 는 또한, 사용자에 의해 표시된 줌 팩터 또는 FOV 에 기초하여 캡처될 이미지의 미리보기를 디스플레이한다.
광학 줌 예를 참조하면, 제 1 이미지 센서 (302) (예를 들어, 0x 광학 줌과 연관됨) 또는 제 2 이미지 센서 (303) (예를 들어, 5x 광학 줌과 연관됨) 가 이미지를 캡처할 것인지 여부는 표시된 줌 팩터에 기초한다. 예를 들어, 제 1 이미지 센서 (302) 는 표시된 줌 팩터가 임계치보다 작으면 사용될 수도 있고, 제 2 이미지 센서 (303) 는 표시된 줌 팩터가 임계치보다 크면 사용될 수도 있다. 본 명세서에 언급된 바와 같이, 제 1 디바이스 모드는 이미지 캡처를 위해 제 1 이미지 센서 (302) 를 사용하는 것을 지칭하고, 제 2 디바이스 모드는 이미지 캡처를 위해 제 2 이미지 센서 (303) 를 사용하는 것을 지칭한다. 이러한 방식으로, 제 1 모드는 3 차원 이미징, 더 넓은 FOV 이미징 등을 위해 제 1 이미지 센서 (302) 를 사용하는 것을 지칭할 수도 있고 (디바이스 (350) 는 연관된 이미지 프레임들을 캡처하기 위해 상이한 애퍼처들을 사용하는 것 사이에서 스위칭함), 제 2 모드는 3 차원 이미징, 더 넓은 FOV 이미징 등을 위해 제 2 이미지 센서 (303) 를 사용하는 것을 지칭할 수도 있다 (디바이스 (350) 는 연관된 이미지 프레임들을 캡처하기 위해 상이한 애퍼처들을 사용하는 것 사이에서 스위칭함). 따라서, 제 1 이미지 센서 (302) 는 제 1 모드의 제 1 부분에 대한 제 1 애퍼처와 연관될 수도 있고 3 차원 이미징 및 더 넓은 FOV 이미징을 위해 제 1 모드의 제 2 부분에 대한 제 2 애퍼처와 연관될 수도 있다. 반대로, 제 2 이미지 센서 (303) 는 제 2 모드의 제 1 부분에 대한 제 2 애퍼처와 연관될 수도 있고 3 차원 이미징 및 더 넓은 FOV 이미징을 위해 제 2 모드의 제 2 부분에 대한 제 2 애퍼처와 연관될 수도 있다.
도 3e 및 도 3f 에 대해 설명된 바와 같이, 디바이스는 디바이스 모드에 기초하여 FOV, 줌 팩터, 피사계 심도, 또는 다른 적합한 특성을 조정할 수도 있다. 일부 다른 구현들에서, 제 1 이미지 센서 및 제 2 이미지 센서는 보케 (bokeh) 효과들 또는 피사계 심도에 기초한 다른 효과들을 위해 사용될 수도 있다. 예를 들어, 다시 도 3c 를 참조하면, 디바이스 (335) 가 3 차원 이미징을 위해 구성되고, 제 1 이미지 센서 (302) 가 제 1 피사계 심도와 연관되고, 제 2 이미지 센서 (303) 가 제 2 피사계 심도와 연관되면, 디바이스 (335) 는 3 차원 또는 더 넓은 FOV 셀피 이미지에 대해 보케 효과 (이를 테면 사람의 배경을 흐리게 하거나 그렇지 않으면 조정하는 것) 를 적용하기 위해 피사계 심도들의 차이를 사용할 수도 있다.
디바이스 모드들 사이의 상이한 이미지 캡처 특성들은 이미지 센서들과 그 이미지 센서들에 커플링된 컴포넌트들 사이의 차이에 기초할 수도 있다. 이러한 방식으로, FOV, 줌 팩터, 및 피사계 심도 이외의 특성들은 디바이스 모드에 기초할 수도 있다. 예를 들어, 제 1 이미지 센서 (302) 가 컬러 CFA 에 커플링되고 제 2 이미지 센서 (303) 가 필터에 커플링되지 않으면, 제 1 모드는 컬러 이미징 (제 1 이미지 센서 (302) 를 사용함) 과 연관될 수도 있고 제 2 모드는 그레이스케일 이미징 (제 2 이미지 센서 (303) 를 사용함) 과 연관될 수도 있다.
하나 또는 2 개의 애퍼처들 및 광학 경로들을 공유하는 2 개의 이미지 센서들이 위에서 설명되지만, 디바이스는 임의의 수의 애퍼처들 및 광학 경로들을 공유하는 임의의 수의 이미지 센서들을 포함할 수도 있다. 예를 들어, 디바이스 (300) 는 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 에 의해 공유되는 제 3 광학 경로를 포함할 수도 있다. 다른 예에서, 디바이스 (300) 는 제 1 광학 경로 (301) 를 공유하기 위한 제 3 이미지 센서를 포함할 수도 있다. 일부 추가 예들에서, 광학 경로를 공유하는 2 개의 이미지 센서들의 다중 시스템들이 디바이스에 포함될 수도 있다. 예를 들어, 디바이스 (300) 는 4 개의 이미지 센서들을 포함할 수도 있다. 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 는 제 1 광학 경로 (301) 를 공유한다. (광학 경로를 공유하는 제 1 및 제 2 이미지 센서들과 유사하게) 제 3 이미지 센서 및 제 4 이미지 센서는 제 3 광학 경로를 공유할 수도 있다. 이러한 방식으로, 디바이스 (300) 는 4 개의 애퍼처들 (제 1 애퍼처 (320) 및 제 2 애퍼처 (322) 를 포함함) 을 가질 수도 있다.
도 3g 는 디스플레이 (362) 를 포함하는 측면 상에 제 1 애퍼처 (364) 및 제 3 애퍼처 (368) 그리고 디스플레이 (362) 에 대향하는 측면 상에 제 2 애퍼처 (366) 및 제 4 애퍼처 (370) 를 갖는 디바이스 (360) 의 도면을 도시한다. 제 1 애퍼처 (364) 및 제 2 애퍼처 (366) 는 제 1 이미지 센서 및 제 2 이미지 센서 에 의해 공유될 수도 있다 (도 3b 와 유사함). 또한, 제 3 애퍼처 (368) 및 제 4 애퍼처 (370) 는 제 3 이미지 센서 및 제 4 이미지 센서에 의해 공유될 수도 있다. 제 1 이미지 센서 및 제 2 이미지 센서는 제 1 광학 엘리먼트와 연관될 수도 있고, 제 3 이미지 센서 및 제 4 이미지 센서는 제 2 광학 엘리먼트와 연관될 수도 있다. 일부 구현들에서, 제 1 광학 엘리먼트의 제 1 OE 모드는 제 2 광학 엘리먼트의 제 1 OE 모드에 대응한다. 이러한 방식으로, 광학 엘리먼트들은 동시에 OE 모드들을 스위칭할 수도 있다.
일부 구현들에서, 제 3 이미지 센서는 (이를 테면 제 1 이미지 센서에 대한 3A 동작들을 수행하는 것을 돕기 위해) 제 1 이미지 센서에 상보적일 수도 있고, 제 4 이미지 센서는 제 2 이미지 센서에 상보적일 수도 있다. 예를 들어, 제 1 이미지 센서 및 제 3 이미지 센서는 동일한 FOV, 줌 팩터, 또는 피사계 심도와 연관될 수도 있고, 제 2 이미지 센서는 상이한 FOV, 줌 팩터, 또는 피사계 심도와 연관될 수도 있다. 제 4 이미지 센서는 제 2 이미지 센서와 동일한 FOV, 줌 팩터 또는 피사계 심도와 연관될 수도 있다. 제 3 이미지 센서 및 제 4 이미지 센서는 동시에 광학 엘리먼트들의 OE 모드들을 스위칭하는 것에 기초하여, 각각 제 1 이미지 센서 및 제 2 이미지 센서와 동일한 디바이스 측면으로부터 이미지들을 캡처하도록 구성될 수도 있다. 이러한 방식으로, 상보적 이미지 센서는 제 1 이미지 센서 또는 제 2 이미지 센서에 대한 하나 이상의 3A 동작들을 위해 사용될 수도 있다.
일부 추가 구현들에서, 제 1 이미지 센서 및 제 3 이미지 센서의 캡처의 이미지들은 정렬될 수도 있고, 정렬된 이미지들은 입체 이미징을 위해 사용될 수도 있다. 유사하게, 제 2 이미지 센서 및 제 4 이미지 센서의 캡처의 이미지들은 정렬될 수도 있고, 정렬된 이미지들은 입체 이미징을 위해 사용될 수도 있다. 이러한 방식으로, 디바이스 (360) 는 디바이스 (360) 의 전방 또는 후방으로부터 입체 이미징을 수행하도록 구성될 수도 있다.
일부 다른 구현들에서, 각각의 이미지 센서는 이미지 또는 비디오 캡처를 위해 사용될 수도 있다. 예를 들어, 디바이스 (360) 는 4 개의 디바이스 모드들을 포함할 수도 있다. 제 1 이미지 센서 내지 제 4 이미지 센서의 적어도 서브세트는 FOV, 줌 팩터, 피사계 심도, 컬러 이미지 캡처, 그레이스케일 이미지 캡처, 또는 다른 이미지 캡처 특성들의 상이한 조합과 연관될 수도 있다. 이러한 방식으로, 4 개의 디바이스 모드들 중의 디바이스 모드는 원하는 FOV, 줌 팩터, 피사계 심도, 또는 다른 캡처 특성들과 연관된 이미지 센서들 중 하나를 사용하는 것을 지칭할 수도 있다.
일부 다른 구현들에서, 제 1 애퍼처 (364) 및 제 3 애퍼처 (368) 는 제 1 이미지 센서 및 제 2 이미지 센서에 의해 공유될 수도 있다 (도 3c 와 유사함). 또한, 제 2 애퍼처 (366) 및 제 4 애퍼처 (370) 는 제 3 이미지 센서 및 제 4 이미지 센서에 의해 공유될 수도 있다 (도 3d 와 유사함). 이러한 방식으로, 디바이스 (360) 는 디바이스 (360) 의 양자의 측면들로부터 (도 3d 를 참조하여 설명된 바와 같이) 3 차원 이미징 또는 더 넓은 FOV 이미징을 위해 구성될 수도 있다.
도 3b-도 3g 의 디바이스 구성들 중 임의의 디바이스 구성의 경우, 줌 팩터 또는 피사계 심도는 특정 이미지 센서에 대해 조정가능할 수도 있다. 예를 들어, 제 1 이미지 센서는 하나 이상의 렌즈들에 커플링될 수도 있고, 렌즈 포지션은 제 1 이미지 센서와 하나 이상의 렌즈들 사이의 거리를 변경하도록 조정될 수도 있다. 다른 예에서, 제 1 이미지 센서는 거리를 조정하기 위해 하나 이상의 렌즈들과 관련하여 이동하도록 구성될 수도 있다. 이러한 방식으로, 제 1 이미지 센서에 대한 초점 거리는 피사계 심도를 조정하기 위해 조정가능할 수도 있다. 렌즈 포지션을 조정하는 것은 이하 도 7b, 도 7c, 도 7e, 및 도 7f 를 참조하여 설명된다.
본 명세서에 언급된 바와 같이, 어느 애퍼처가 특정 시점에 어느 이미지 센서와 연관되는지는 광학 엘리먼트의 OE 모드에 기초할 수도 있다. OE 모드들 사이의 스위칭은 광학 엘리먼트를 조정하는 것 (이를 테면 상이한 배향들 사이에서 광학 엘리먼트를 회전시키는 것, 상이한 포지션들 사이에서 광학 엘리먼트를 이동시키는 것, 또는 광학 엘리먼트에 전류 또는 다른 자극을 인가하는 것) 에 기초할 수도 있다.
OE 모드들의 스위칭이 광학 엘리먼트를 회전시키는 것을 포함할 때, 광학 엘리먼트는 제 1 OE 모드 동안 제 1 광학 경로로부터 광학 엘리먼트에 접근하는 광과 관련하여 제 1 배향을 가질 수도 있고, 광학 엘리먼트는 제 2 OE 모드 동안 제 1 광학 경로로부터의 광과 관련하여 제 2 배향을 가질 수도 있다. 디바이스 제어기 (이를 테면 제어기 (310)) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트의 배향이 조정되게 하도록 구성된다.
도 4a 는 제 1 OE 모드 동안 제 1 광학 경로 (406) 와 연관된 제 1 이미지 센서 (402) 를 예시하는 예시적인 디바이스 (400) 부분의 단면도를 도시한다. 제 1 이미지 센서 (402) 는 광학 엘리먼트 (414) 가 제 1 배향을 갖는 것에 기초하여 제 1 광학 경로 (406) 와 연관된다. 도 4b 는 제 2 OE 모드 동안 제 1 광학 경로 (406) 와 연관된 제 2 이미지 센서 (404) 를 예시하는 디바이스 (400) 부분의 단면도를 도시한다. 제 2 이미지 센서 (404) 는 광학 엘리먼트 (414) 가 제 2 배향을 갖는 것에 기초하여 제 1 광학 경로 (406) 와 연관된다.
도 4a 를 참조하면, 광학 엘리먼트 (414) 는 (제 1 애퍼처 (410) 를 통해 수신된) 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키도록 구성된다. 광학 엘리먼트 (414) 는 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키기 위해 광을 굴절 및/또는 반사할 수도 있다. 예를 들어, 광학 엘리먼트 (414) 는 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키기 위해 반사 표면을 포함할 수도 있다. 다른 예에서, 광학 엘리먼트 (414) 는 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 굴절시키기에 적합한 형상 및 굴절률의 프리즘을 포함할 수도 있다. 제 1 광학 경로는 제 1 광학 경로 (406) 로부터의 광을 지향시키도록 또한 구성된 하나 이상의 컴포넌트들 (418) 에 커플링될 수도 있다. 예를 들어, 컴포넌트 (418) 는 제 1 광학 경로 (406) 로부터의 광을 광학 엘리먼트 (414) 로 지향시키기 위해 반사 표면을 포함할 수도 있다. 광학 엘리먼트 (414) (및 임의의 컴포넌트들 (418)) 는 제 1 OE 모드 동안 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키기 위한 임의의 적합한 배향 및 구성일 수도 있다. 디바이스 (400) 는 또한 제 2 이미지 센서 (404) 를 포함한다. 제 1 OE 모드에 있을 때, 제 2 이미지 센서 (404) 는 제 1 광학 경로 (406) 로부터 광을 수신하지 않는다. 예시된 예시적인 디바이스 (400) 에서, 광학 엘리먼트 (414) 는 제 1 광학 경로 (406) 로부터의 광이 제 2 이미지 센서 (404) 에 도달하는 것을 차단한다 (대신에 광은 제 1 이미지 센서 (402) 로 지향된다).
일부 구현들에서, 디바이스 (400) 는 제 2 광학 경로 (408) 에 커플링된 제 2 애퍼처 (412) 를 더 포함한다. 제 2 애퍼처 (412) 는 제 1 애퍼처 (410) 와는 대향되는 디바이스 (400) 의 측면 상에 있는 것으로 예시되지만, 제 2 애퍼처 (412) 는 디바이스 (400) 의 임의의 적합한 측면 상에 포지셔닝될 수도 있다. 도시되지는 않았지만, 제 2 광학 경로 (408) 는 (컴포넌트 (418) 와 유사한 바와 같이) 제 2 광학 경로 (408) 로부터의 광을 광학 엘리먼트 (414) 로 지향시키도록 구성된 하나 이상의 컴포넌트들에 커플링될 수도 있다. 광학 엘리먼트 (414) 는 제 2 광학 경로 (408) 로부터의 광을 제 2 이미지 센서 (404) 로 지향시키기 위해 광을 굴절 및/또는 반사하도록 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (414) 는 제 2 광학 경로 (408) 로부터의 광을 제 2 이미지 센서 (404) 로 지향시키기 위해 제 2 반사 표면을 포함할 수도 있다. 다른 예에서, 광학 엘리먼트 (414) 의 프리즘은 프리즘의 형상 및 프리즘의 굴절률에 기초하여 제 2 광학 경로 (408) 로부터의 광을 제 2 이미지 센서 (404) 로 지향시키도록 구성될 수도 있다.
광학 엘리먼트 (414) 는 광학 엘리먼트의 회전을 제어하기 위해 액추에이터 (416) 를 포함하거나 그에 커플링될 수도 있다. 일부 구현들에서, 액추에이터 (416) 는 광학 엘리먼트 (414) 를 이동시키기 위해 회전 모터 또는 다른 수단을 포함하거나 그에 커플링되고, 액추에이터 (416) 는 제어기 (이를 테면 도 3a 의 제어기 (310)) 에 의해 제어된다. 예를 들어, 제어기 (310) 는 제 1 OE 모드로부터 제 2 OE 모드로 스위칭할 때 제 1 배향 (이를 테면 도 4a 에 예시됨) 으로부터 제 2 배향으로 광학 엘리먼트 (414) 를 회전시키도록 액추에이터 (416) 에 명령한다. 도 4a 및 도 4b (및 이후의 도면들) 의 예들은 제 1 광학 경로와 관련한 광학 엘리먼트의 배향을 참조할 수도 있다. 도 4a 및 도 4b (및 이후의 도면들) 의 예들은 제 1 광학 경로와 관련한 광학 엘리먼트의 배향을 참조할 수도 있지만, 광학 엘리먼트의 배향은 디바이스 내의 임의의 적합한 디바이스 컴포넌트 또는 적합한 레퍼런스와 관련될 수도 있다. 예를 들어, 배향은 이미지 센서의 배향과 관련되고, 이미터의 배향과 관련되고, 광학 경로로부터 광학 엘리먼트에 접근하는 광의 방향과 관련되고 등등일 수도 있다.
도 4b 는 광학 엘리먼트 (414) 가 제 2 OE 모드에 대해 예시적인 제 2 배향을 갖는 도 4a 의 디바이스 (400) 부분의 단면도를 도시한다. 제 2 OE 모드 동안, 디바이스 (400) 는 제 1 광학 경로 (406) 로부터의 광을 제 2 이미지 센서 (404) 로 지향시키도록 구성된다. 디바이스 (400) 가 제 2 광학 경로 (408) 에 커플링된 제 2 애퍼처 (412) 를 포함하는 경우, 디바이스 (400) 는 또한 제 2 광학 경로 (408) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키도록 구성된다.
일부 구현들에서, 광학 엘리먼트 (414) 는 제 2 OE 모드 동안 (허용오차 내에서) 제 1 광학 경로 (406) 로부터 수신된 광과 관련하여 수직일 수도 있다. 도 4b 는 제 2 OE 모드에 대한 광학 엘리먼트 (414) 의 하나의 예시적인 배향을 예시하지만, 임의의 적합한 배향이 사용될 수도 있다. 예를 들어, 일부 다른 구현들에서, 제 2 배향은 광학 엘리먼트 (414) 가 제 2 광학 경로 (408) 로부터의 광에 수직이 되게 한다. 일부 다른 구현들에서, 제 2 배향은 제 1 광학 경로 (406) 로부터의 광 및 제 2 광학 경로 (408) 로부터의 광이 광학 엘리먼트 (414) 로 지향되지 않도록 광학 엘리먼트 (414) 가 배향되게 한다. 예를 들어, 제 2 배향은 제 1 배향과 관련하여 액추에이터 (416) 의 대향 측면 상에 있을 수도 있다. 이러한 방식으로, 액추에이터는 제 1 OE 모드와 제 2 OE 모드 사이에서 스위칭할 때 광학 엘리먼트 (414) 를 180 도 회전시킬 수도 있다.
일부 구현들에서, 광학 엘리먼트 (414) 는 (이를 테면 제 1 광학 경로 (406) 로부터) 광학 엘리먼트 (414) 에 접근하는 광과 관련한 광학 엘리먼트 (414) 의 배향에 기초하는 굴절률, 반사도, 또는 투명도를 포함할 수도 있다. 예를 들어, 광학 엘리먼트 (414) 는 제 1 배향으로 광학 엘리먼트 (414) 에 접근하는 광에 대해 반사성일 수도 있고, 광학 엘리먼트 (414) 는 제 2 배향으로 광학 엘리먼트 (414) 에 접근하는 광에 대해 투명할 수도 있다. 예를 들어, 광학 엘리먼트 (414) 는 (도 4b 에 예시된 바와 같이) 제로 입사각으로 광학 엘리먼트 (414) 에 접근하는 광에 대해 투명하고, 광학 엘리먼트 (414) 는 (도 4a 에 예시된 바와 같이 45 도 입사각과 같은) 비-제로 입사각으로 광학 엘리먼트 (414) 에 접근하는 광에 대해 반사성이다.
일부 구현들에서, 광학 엘리먼트 (414) 는 반사 표면을 생성하기 위해 적어도 하나의 측면 상에 코팅된 투명 재료 또는 기판 (이를 테면, 유리, 투명 플라스틱 등) 이다. 코팅 (광학 코팅으로서 또한 지칭됨) 은 필름에 접근하는 광의 입사각에 기초하여 상이한 굴절각을 야기하는 필름을 포함할 수도 있다. 예를 들어, 필름은 광학 엘리먼트 (414) 가 제 1 광학 경로 (406) 와 관련하여 제 1 배향에 있을 때 제 1 광학 경로 (406) 로부터의 광의 굴절에 대한 임계각과 연관될 수도 있고, 필름은 광학 엘리먼트 (414) 가 제 1 광학 경로 (406) 와 관련하여 제 2 배향에 있을 때 제 1 광학 경로 (406) 로부터의 광에 대한 제로 굴절각과 연관될 수도 있다. 광학 코팅들은 임의의 적합한 재료일 수도 있다. 일부 구현들에서, 광학 코팅들은 (옥사이드들, 금속들 등과 같은) 재료들의 박층들의 조합을 포함할 수도 있다. 광학 코팅의 성능 (이를 테면 반사도, 투명도, 임계각 등) 은 층들의 수, 각각의 층의 두께, 및 층들 사이의 굴절률 차이에 기초할 수도 있다. 예를 들어, 광학 코팅은 교번하는 방식으로 (유리와 같은) 투명 기판 상에 유전체 및 금속 재료들의 박막들을 디포짓함으로써 생성될 수도 있다. 재료들은 더 높은 굴절률과 더 낮은 굴절률 사이에서 교번할 수도 있다. 예시적인 박막들은 마그네슘 플루오라이드 (MgF2), 탄탈륨 펜트옥사이드 (Ta2O5), 및 알루미늄 옥사이드 (Al2O3) 를 포함할 수도 있다.
코팅들의 가변 굴절률들에 기초하여 그리고 유입 광의 입사각에 기초하여, 광학 엘리먼트 (414) 는 (도 4a 에 예시된 바와 같이) 제 1 광학 경로 (406) 로부터의 광을 제 1 이미지 센서 (402) 로 지향시키도록 구성될 수도 있고, 광학 엘리먼트 (414) 는 (도 4b 에 예시된 바와 같이) 제 1 광학 경로 (406) 로부터의 광이 제 2 이미지 센서 (404) 로 통과하게 하도록 구성될 수도 있다. 디바이스 (400) 가 제 2 광학 경로 (408) 에 커플링된 제 2 애퍼처 (412) 를 포함하는 경우, 광학 엘리먼트 (414) 는 제 2 측면 상에 유사한 코팅을 포함할 수도 있다. 이러한 방식으로, 광학 엘리먼트 (414) 는 (도 4a 에 예시된 바와 같이) 제 2 광학 경로 (408) 로부터의 광을 제 2 이미지 센서 (404) 로 지향시키도록 구성될 수도 있고, 광학 엘리먼트 (414) 는 (도 4b 에 예시된 바와 같이) 제 1 광학 경로 (406) 로부터의 광이 제 2 이미지 센서 (404) 로 통과하게 하도록 구성될 수도 있다.
도 4a 및 도 4b 는 제 1 애퍼처 (410) 및 제 2 애퍼처 (412) 가 디바이스 (400) 의 상이한 측면들 상에 있는 것을 예시한다. 일부 구현들에서, 애퍼처들은 도 4c 및 도 4d 에 예시된 바와 같이, 디바이스의 동일한 측면 상에 있을 수도 있다. 도 4c 는 제 1 광학 경로 (426) 와 연관된 제 1 이미지 센서 (422) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 도 4d 는 제 1 광학 경로 (426) 와 연관된 제 2 이미지 센서 (424) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (420) 는 제 1 애퍼처 (430) 가 제 2 애퍼처 (432) 와 디바이스 (420) 의 동일한 측면 상에 있는 것 외에는, 디바이스 (400) 와 유사할 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (422) 는 제 1 이미지 센서 (402) 와 유사할 수도 있고, 제 2 이미지 센서 (424) 는 제 2 이미지 센서 (404) 와 유사할 수도 있고, 제 1 광학 경로 (426) 는 제 1 광학 경로 (406) 와 유사할 수도 있고, 제 2 광학 경로 (428) 는 제 2 광학 경로 (408) 와 유사할 수도 있고, 광학 엘리먼트 (434) 는 광학 엘리먼트 (414) 와 유사할 수도 있고, 액추에이터 (436) 는 액추에이터 (416) 와 유사할 수도 있다. 디바이스 (420) 는 디바이스 (420) 에서 광을 지향시키기 위한 하나 이상의 적합한 컴포넌트들 (438) 을 포함할 수도 있다. 도 4a 및 도 4b 는 도 3b 의 디바이스 (330) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있고, 도 4c 및 도 4d 는 도 3c 의 디바이스 (335) 에 대한 또는 도 3d 의 디바이스 (340) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있다.
본 명세서에 언급된 바와 같이, 디바이스는 이미지 센서들이 광학 경로를 공유하기 위한 다중 시스템들을 포함할 수도 있다. 예를 들어, 디바이스는 도 4a 의 컴포넌트들의 다중 인스턴스들 (또는 도 4c 의 컴포넌트들의 다중 인스턴스들) 을 포함할 수도 있다. 도 4e 는 제 1 광학 경로 (446) 와 연관된 제 1 이미지 센서 (442) 및 제 3 광학 경로 (466) 와 연관된 제 3 이미지 센서 (462) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 광학 엘리먼트 (454) 는 광학 엘리먼트 (454) 가 제 1 광학 경로 (446) 와 관련하여 제 1 배향에 있는 것에 기초하여 제 1 광학 경로 (446) 로부터의 광을 제 1 이미지 센서 (442) 로 지향시킬 수도 있다. 광학 엘리먼트 (474) 는 광학 엘리먼트 (474) 가 제 3 광학 경로 (466) 와 관련하여 제 1 배향에 있는 것에 기초하여 제 3 광학 경로 (466) 로부터의 광을 제 3 이미지 센서 (462) 로 지향시킬 수도 있다. 일부 구현들에서, 광학 엘리먼트 (454) 는 또한 광학 엘리먼트 (454) 가 제 1 배향에 있는 것에 기초하여 제 2 광학 경로 (448) 로부터의 광을 제 2 이미지 센서 (444) 로 지향시킬 수도 있고, 광학 엘리먼트 (474) 는 광학 엘리먼트 (474) 가 제 1 배향에 있는 것에 기초하여 제 3 광학 경로 (466) 로부터의 광을 제 3 이미지 센서 (462) 로 지향시킬 수도 있다. 도 4e 를 도 4a 와 비교하면, 컴포넌트들 (458 및 478) 은 컴포넌트 (418) 와 유사할 수도 있고, 광학 엘리먼트들 (454 및 474) 은 광학 엘리먼트 (414) 와 유사할 수도 있고, 액추에이터들 (456 및 476) 은 액추에이터 (416) 와 유사할 수도 있다.
도 4f 는 제 1 광학 경로 (446) 와 연관된 제 2 이미지 센서 (444) 및 제 3 광학 경로 (466) 와 연관된 제 3 이미지 센서 (462) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. (제 1 광학 경로 (446) 와 관련하여 제 2 배향의) 광학 엘리먼트 (454) 는 제 1 광학 경로 (446) 로부터의 광이 제 2 이미지 센서 (444) 에 도달하게 할 수도 있고, (제 3 광학 경로 (466) 와 관련하여 제 2 배향의) 광학 엘리먼트 (474) 는 제 3 광학 경로 (466) 로부터의 광이 제 4 이미지 센서 (464) 에 도달하게 할 수도 있다. 일부 구현들에서, 광학 엘리먼트 (454) 는 또한 제 2 광학 경로 (448) 로부터의 광이 제 1 이미지 센서 (442) 에 도달하게 할 수도 있고, 광학 엘리먼트 (474) 는 제 4 광학 경로 (468) 로부터의 광이 제 3 이미지 센서 (462) 에 도달하게 할 수도 있다. 도 4f 를 도 4b 와 비교하면, 컴포넌트들 (458 및 478) 은 컴포넌트 (418) 와 유사할 수도 있고, 광학 엘리먼트들 (454 및 474) 은 광학 엘리먼트 (414) 와 유사할 수도 있고, 액추에이터들 (456 및 476) 은 액추에이터 (416) 와 유사할 수도 있다.
일부 구현들에서, 하나의 광학 엘리먼트는 이미지 센서들 (442, 444, 462, 및 464) 에 의해 공유될 수도 있다. 예를 들어, 이미지 센서들은 하나의 더 큰 광학 엘리먼트가 도 4e 또는 도 4f 에 도시된 바와 같이 광을 지향시키도록 회전될 수도 있도록 포지셔닝될 수도 있다. 일부 다른 구현들에서, 제 1 애퍼처 (450) 및 제 2 애퍼처 (452) 는 디바이스 (440) 의 동일한 측면 상에 있을 수도 있고, 및/또는 제 3 애퍼처 (470) 및 제 4 애퍼처 (472) 는 디바이스 (440) 의 동일한 측면 상에 있을 수도 있다.
도 5a-도 7f 는 제 2 애퍼처 및 제 2 광학 경로를 포함하는 디바이스를 도시한다. 그러나, 설명들은 본 개시의 양태들을 설명하는데 있어서 명확성을 위한 것이다. 도 3a-도 4b 에 도시된 바와 같이, 디바이스는 제 2 애퍼처 및 제 2 광학 경로를 포함하도록 요구되지 않는다. 추가적으로, 이미지 센서들 사이의 공유된 광학 경로의 하나의 인스턴스가 도 5a-도 7f 에 도시되지만, 임의의 수의 인스턴스가 (도 4e 및 도 4f 에 예시된 바와 같이) 디바이스에 포함될 수도 있다. 예를 들어, 도 4e 의 다중 광학 엘리먼트들을 회전시키는 대신, 다중 광학 엘리먼트들은 양자 모두 병진 이동되거나, 전류가 인가되거나, 또는 다른 방식으로 조정될 수도 있다. 상이한 인스턴스들에서 상이한 광학 엘리먼트들이 상태들을 변경하는 방법은 상이하거나 동일할 수도 있다 (이를 테면 하나는 회전되고 하나는 병진 이동됨). 이로써, 본 개시 (도 5a-도 7b 에 도시된 예들을 포함함) 는 제 2 애퍼처 및 제 2 광학 경로를 요구하는 것으로 또는 광학 경로를 공유하는 다중 이미지 센서들의 단 하나의 인스턴스로 제한되지 않는다.
일부 구현들에서, 광학 엘리먼트는 제 1 OE 모드 동안 디바이스에서 제 1 포지션에 있을 수도 있고, 광학 엘리먼트는 제 2 OE 모드 동안 디바이스에서 제 2 포지션에 있을 수도 있다. 디바이스 제어기 (이를 테면 도 3a 의 제어기 (310)) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트가 제 1 포지션과 제 2 포지션 사이에서 병진 이동되게 하도록 구성된다. 도 5a 는 디바이스가 제 1 모드에 있을 때 제 1 광학 경로 (506) 와 연관된 제 1 이미지 센서 (502) 를 예시하는 예시적인 디바이스 (500) 부분의 단면도를 도시한다. 제 1 이미지 센서 (502) 는 광학 엘리먼트 (514) 가 디바이스 (500) 에서 제 1 포지션에 있는 것에 기초하여 제 1 광학 경로 (506) 와 연관된다. 도 5b 는 디바이스 (500) 가 제 2 모드에 있을 때 제 1 광학 경로 (506) 와 연관된 제 2 이미지 센서 (504) 를 예시하는 예시적인 디바이스 (500) 부분의 단면도를 도시한다. 제 2 이미지 센서 (504) 는 광학 엘리먼트 (514) 가 디바이스 (500) 에서 제 2 포지션에 있는 것에 기초하여 제 1 광학 경로 (506) 와 연관된다.
도 5a 를 참조하면, 광학 엘리먼트 (514) 는 제 1 OE 모드 동안 (제 1 애퍼처 (510) 를 통해 수신된) 제 1 광학 경로 (506) 로부터의 광을 제 1 이미지 센서 (502) 로 지향시키도록 구성된다. 디바이스 (500) 가 제 2 광학 경로 (508) 를 따라 광을 지향시키도록 구성된 제 2 애퍼처 (512) 를 포함하는 경우, 광학 엘리먼트 (514) 는 제 1 OE 모드 동안 제 2 광학 경로 (508) 로부터의 광을 제 2 이미지 센서 (504) 로 지향시키도록 구성될 수도 있다. 일부 구현들에서, 광학 엘리먼트 (514) 는 도 4a 및 도 4b 의 광학 엘리먼트 (414) 와 유사하게 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (514) 는 광을 지향시키기 위해 하나 이상의 측면들 상에 필름으로 코팅된 투명 기판을 포함할 수도 있다. 일부 다른 구현들에서, 광학 엘리먼트 (514) 는 일면 미러 또는 양면 미러, 프리즘, 또는 광을 지향시키기 위한 다른 적합한 객체를 포함할 수도 있다. 도 4a 및 도 4b 와 유사하게, 디바이스 (500) 는 제 1 광학 경로 (506) (또는 제 2 광학 경로 (508)) 로부터의 광을 광학 엘리먼트 (514) 로 지향시키도록 구성된 하나 이상의 컴포넌트들 (518) 을 포함할 수도 있다.
광학 엘리먼트 (514) 는 디바이스 모드들을 스위칭할 때 제 1 포지션으로부터 제 2 포지션으로 광학 엘리먼트 (514) 를 이동시키기 위해 액추에이터 (516) 를 포함하거나 그에 커플링될 수도 있다. 일부 구현들에서, 액추에이터 (516) 는 광학 엘리먼트 (514) 를 이동시키기 위해 모터 (이를 테면 자기 모터 또는 스텝퍼 모터) 를 포함하거나 그에 커플링되고, 액추에이터 (516) 는 제어기 (이를 테면 도 3a 의 제어기 (310)) 에 의해 제어된다. 예를 들어, 제어기 (310) 는 제 1 OE 모드로부터 제 2 OE 모드로 스위칭할 때 제 1 포지션 (이를 테면 도 5a 에 예시됨) 으로부터 제 2 포지션으로 광학 엘리먼트 (514) 가 이동되게 하도록 액추에이터 (516) 를 제어한다. 일부 구현들에서, 광학 엘리먼트 (514) 는 자성일 수도 있고, 액추에이터 (516) 는 광학 엘리먼트 (514) 를 끌어당기거나 밀어내도록 자기력이 조정되는 하나 이상의 자석들을 포함하거나 그에 커플링된다. 일부 다른 구현들에서, 액추에이터 (516) 는 스프링 시스템, 풀리 (pulley) 시스템, 또는 디바이스 (500) 에서의 포지션들 사이에서 광학 엘리먼트 (514) 를 이동시키기 위한 다른 기계적 수단을 포함하거나 그에 커플링될 수도 있다.
도 5b 는 광학 엘리먼트 (514) 가 디바이스 (500) 에서 예시적인 제 2 포지션에 있는 도 5a 의 디바이스 (500) 부분의 단면도를 도시한다. 제 2 OE 모드 동안, 디바이스 (500) 는 제 1 광학 경로 (506) 로부터의 광을 제 2 이미지 센서 (504) 로 지향시키도록 구성된다. 디바이스 (500) 가 제 2 광학 경로 (508) 에 커플링된 제 2 애퍼처 (512) 를 포함하는 경우, 디바이스 (500) 는 또한 제 2 광학 경로 (508) 로부터의 광을 제 1 이미지 센서 (502) 로 지향시키도록 구성된다. 예를 들어, 광학 엘리먼트 (514) 의 제 2 포지션은 광학 엘리먼트 (514) 가 제 1 애퍼처 (510) 로부터의 광의 경로에 있지 않고 제 2 애퍼처 (512) 로부터 수신된 광의 경로에 있지 않도록 구성될 수도 있다.
도 5a 및 도 5b 는 제 1 애퍼처 (510) 및 제 2 애퍼처 (512) 가 디바이스 (500) 의 상이한 측면들 상에 있는 것을 예시한다. 도 4c 및 도 4d 와 유사하게, 애퍼처들은 도 5c 및 도 5d 에 예시된 것과 같이, 디바이스의 동일한 측면 상에 있을 수도 있다. 도 5c 는 제 1 광학 경로 (526) 와 연관된 제 1 이미지 센서 (522) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 도 5d 는 제 1 광학 경로 (526) 와 연관된 제 2 이미지 센서 (524) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (520) 는 제 1 애퍼처 (530) 가 제 2 애퍼처 (532) 와 디바이스 (520) 의 동일한 측면 상에 있는 것 외에는, 디바이스 (500) 와 유사할 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (522) 는 제 1 이미지 센서 (502) 와 유사할 수도 있고, 제 2 이미지 센서 (524) 는 제 2 이미지 센서 (504) 와 유사할 수도 있고, 제 1 광학 경로 (526) 는 제 1 광학 경로 (506) 와 유사할 수도 있고, 제 2 광학 경로 (528) 는 제 2 광학 경로 (508) 와 유사할 수도 있고, 광학 엘리먼트 (534) 는 광학 엘리먼트 (514) 와 유사할 수도 있고, 액추에이터 (536) 는 액추에이터 (516) 와 유사할 수도 있다. 디바이스 (520) 는 디바이스 (520) 에서 광을 지향시키기 위한 하나 이상의 적합한 컴포넌트들 (538) 을 포함할 수도 있다. 도 5a 및 도 5b 는 도 3b 의 디바이스 (330) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있고, 도 5c 및 도 5d 는 도 3c 의 디바이스 (335) 에 대한 또는 도 3d 의 디바이스 (340) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있다.
일부 구현들에서, 광학 엘리먼트의 투명도 및 반사도 (또는 굴절률) 는 광학 엘리먼트에 인가된 전류에 기초한다. 예를 들어, 광학 엘리먼트는 전류가 광학 엘리먼트에 인가되지 않을 때 투명할 수도 있고, 광학 엘리먼트는 전류가 광학 엘리먼트에 인가될 때 반사 및/또는 굴절성일 수도 있다. 이러한 방식으로, 광학 엘리먼트는 전류 소스 (이를 테면 전력 레일) 에 커플링될 수도 있고, 전류 소스 또는 (스위치와 같은) 전류 소스로부터 광학 엘리먼트로 전류를 지향시키기 위한 수단은 디바이스 제어기 (이를 테면 도 3a 의 제어기 (310)) 에 의해 제어될 수도 있다. 도 6a 는 제 1 광학 경로 (606) 와 연관된 제 1 이미지 센서 (602) 를 예시하는 예시적인 디바이스 (600) 부분의 단면도를 도시한다. 제 1 이미지 센서 (602) 는 전류가 광학 엘리먼트 (614) 에 인가되는지 여부에 기초하여 제 1 광학 경로 (606) 와 연관된다. 도 6b 는 제 1 광학 경로 (606) 와 연관된 제 2 이미지 센서 (604) 를 예시하는 예시적인 디바이스 (600) 부분의 단면도를 도시한다. 제 2 이미지 센서 (604) 는 전류가 광학 엘리먼트 (414) 에 인가되는지 여부에 기초하여 제 1 광학 경로 (606) 와 연관된다.
도 6a 를 참조하면, 광학 엘리먼트 (614) 는 제 1 OE 모드 동안 (제 1 애퍼처 (610) 를 통해 수신된) 제 1 광학 경로 (606) 로부터의 광을 제 1 이미지 센서 (602) 로 지향시키도록 구성된다. 디바이스는 또한 제 1 광학 경로 (606) 로/로부터/를 따라 광을 지향시키도록 구성된 하나 이상의 컴포넌트들 (618) 을 포함할 수도 있다. 디바이스 (600) 가 제 2 광학 경로 (608) 를 따라 광을 지향시키도록 구성된 제 2 애퍼처 (612) 를 포함하는 경우, 광학 엘리먼트 (614) 는 제 1 OE 모드 동안 제 2 광학 경로 (608) 로부터의 광을 제 2 이미지 센서 (604) 로 지향시키도록 구성될 수도 있다. 광학 엘리먼트 (614) 는 광학 엘리먼트 (614) 의 투명도 및 반사도 (또는 굴절률) 가, 전류가 (이를 테면 디바이스 제어기 (이를 테면 도 3a 의 제어기 (310)) 에 의해 제어될 수도 있는 전기 콘택들 (616) 을 통해) 광학 엘리먼트 (614) 에 인가되는지 여부에 기초하도록 구성될 수도 있다.
일부 구현들에서, 광학 엘리먼트 (614) 는 (본 명세서에서 가변 투과율 유리로서 지칭되는) 인가된 전류에 기초하여 투명도와 반사도 사이에서 스위칭하는 스위칭가능한 미러를 포함할 수도 있다. 가변 투과율 유리의 예시적인 구현은 수소 (H2) 가스를 감싸는 마그네슘 니켈 (Mg-Ni) 합금을 포함한다. 전류가 Mg-Ni 합금에 인가될 때, 합금은 수소 가스를 흡수하고 투명해진다. Mg-Ni 합금으로부터 전류가 제거될 때, 합금은 수소 가스를 없애고 반사성이 된다. 다른 예시적인 가변 투과율 유리는 SPD (suspended particle device) 를 포함한다. SPD 는 액체에 현탁된 나노미터 스케일 입자들을 포함할 수도 있다. 전류가 SPD 에 인가될 때, 입자들은 유사한 배향으로 배열/정렬되어 광이 SPD 를 통과하게 한다. 전류가 SPD 로부터 제거될 때, 입자들은 정렬해제되고 (이를 테면 그들의 이전 배향들로 복귀함), SPD 는 반사성이 된다. 예를 들어, 입자들은 전류가 반사성이 되도록 인가되지 않을 때 투명한 액체에서 랜덤 배향이고 반사성이 될 수도 있다. 전류가 인가될 때, 입자들은 각각의 입자의 표면적이 광이 SPD 에 도달 (그 광이 투명 액체를 통과하게 함) 하는 관점으로부터 감소 또는 최소화되도록 정렬될 수도 있다. SPD 는 투명 기판 (이를 테면 유리) 에 도포되는 박막을 포함할 수도 있다. 가변 투과율 유리의 일부 다른 구현들은 전기변색 미러를 포함한다. 전기변색 미러는 전류의 버스트가 미러에 인가될 때 투명과 불투명 (이를 테면 반사) 사이에서 상태들을 변경한다. 예를 들어, 전기변색 미러는 전류의 버스트가 미러에 인가될 때마다 배향들을 변경하는 리튬 이온들을 포함할 수도 있다.
광학 엘리먼트 (614) 가 광학 엘리먼트 (614) 에 인가된 전류에 기초하여 상태들을 변경하는 것으로 예시되지만, 다른 예시적인 광학 엘리먼트들은 다른 자극들에 기초하여 상태들을 스위칭할 수도 있다. 예를 들어, 광학 엘리먼트의 상태 변경들은 (열을 인가하는 것과 같은) 온도의 변경, 자성의 변경, 압력의 변경 등에 기초할 수도 있다. 따라서, 광학 엘리먼트에 상태 변경을 야기하기 위한 자극은 전류로 제한되지 않는다.
광학 엘리먼트 (614) 는 (광학 엘리먼트 (614) 를 특정 상태로 유지하거나 광학 엘리먼트 (614) 가 상태들을 변경하게 하기 위해) 광학 엘리먼트 (614) 에 전류를 인가하기 위해 전기 콘택들 (616) 을 포함하거나 그에 커플링될 수도 있다. 일부 구현들에서, 전기 콘택들 (616) 은 전력 레일 또는 다른 전류 소스에 커플링되고, 전류의 인가는 소스와 전기 콘택들 (616) 사이의 스위치에 의해 제어될 수도 있다. 스위치는 제어기 (이를 테면 도 3a 의 제어기 (310)) 에 의해 제어될 수도 있다. 일부 예들에서, 제어기 (310) 는 제 1 OE 모드에 대해 반사성이 되는 것과 제 2 OE 모드에 대해 투명한 것 사이에서 광학 엘리먼트 (614) 를 스위칭하는 것을 제어할 수도 있다.
도 6b 는 광학 엘리먼트 (614) 가 투명 상태에 있는 도 6a 의 디바이스 (600) 부분의 단면도를 도시한다. 제 2 OE 모드 동안, 디바이스 (600) 는 제 1 광학 경로 (606) 로부터의 광을, 광학 엘리먼트 (614) 를 통하여, 그리고 제 2 이미지 센서 (604) 로 지향시키도록 구성된다. 디바이스 (600) 가 제 2 광학 경로 (608) 를 따라 광을 지향시키도록 구성된 제 2 애퍼처 (612) 를 포함하는 경우, 디바이스 (600) 는 또한 제 2 광학 경로 (608) 로부터의 광을, 광학 엘리먼트 (614) 를 통하여, 그리고 제 1 이미지 센서 (602) 로 지향시키도록 구성된다.
도 6a 및 도 6b 는 제 1 애퍼처 (610) 및 제 2 애퍼처 (612) 가 디바이스 (600) 의 상이한 측면들 상에 있는 것을 예시한다. 도 4c 및 도 4d 와 유사하게, 애퍼처들은 도 6c 및 도 6d 에 예시된 것과 같이, 디바이스의 동일한 측면 상에 있을 수도 있다. 도 6c 는 제 1 광학 경로 (607) 와 연관된 제 1 이미지 센서 (603) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 도 6d 는 제 1 광학 경로 (607) 와 연관된 제 2 이미지 센서 (605) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (601) 는 제 1 애퍼처 (611) 가 제 2 애퍼처 (613) 와 디바이스 (601) 의 동일한 측면 상에 있는 것 외에는, 디바이스 (600) 와 유사할 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (603) 는 제 1 이미지 센서 (602) 와 유사할 수도 있고, 제 2 이미지 센서 (605) 는 제 2 이미지 센서 (604) 와 유사할 수도 있고, 제 1 광학 경로 (607) 는 제 1 광학 경로 (606) 와 유사할 수도 있고, 제 2 광학 경로 (609) 는 제 2 광학 경로 (608) 와 유사할 수도 있고, 광학 엘리먼트 (615) 는 광학 엘리먼트 (614) 와 유사할 수도 있고, 전기 콘택들 (617) 은 전기 콘택들 (616) 과 유사할 수도 있다. 디바이스 (601) 는 디바이스 (601) 에서 광을 지향시키기 위한 하나 이상의 적합한 컴포넌트들 (619) 을 포함할 수도 있다. 도 6a 및 도 6b 는 도 3b 의 디바이스 (330) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있고, 도 6c 및 도 6d 는 도 3c 의 디바이스 (335) 에 대한 또는 도 3d 의 디바이스 (340) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있다.
도 6e-도 6h 는 OE 모드들 사이에서 스위칭하기 위한 광학 엘리먼트의 다른 예시적인 구현들을 도시한다. 일부 구현들에서, 단면도들은 디바이스의 상부로부터의 것일 수도 있다. 예를 들어, 단면도는 세로 모드에서 스마트폰의 상부로부터의 것일 수도 있다. 이러한 방식으로, 하나 이상의 이미지 센서들은 디바이스의 전방 및 후방 (이를 테면 스마트폰의 전방 및 후방) 에 대해 수직일 수도 있다. 그러나, 하나 이상의 이미지 센서들은 디바이스와 관련하여 임의의 적합한 평면 상에 포지셔닝될 수도 있다. 예를 들어, 단면도는 디바이스의 측면 (이를 테면 세로 모드에서 스마트폰의 측면) 으로부터의 것일 수도 있고, 하나 이상의 이미지 센서들은 디바이스의 상부 및 하부에 평행할 수도 있다. 다른 예에서, 단면도는 디바이스의 전방 (이를 테면 디스플레이를 포함하는 스마트폰의 전방) 으로부터의 것일 수도 있고, 하나 이상의 이미지 센서들은 디바이스의 상부에 평행하거나, 상부에 접하는 디바이스의 측면에 평행하거나, 디바이스의 상부에 대한 평면과 디바이스의 측면에 대한 평면 사이의 평면을 따라 배향될 수도 있다. 본 개시는 디바이스 내의 하나 이상의 이미지 센서들의 특정 배향으로 제한되지 않는다. 도 4a-도 7f 의 경우와 유사하게, 본 개시는 디바이스 내의 하나 이상의 이미지 센서들의 특정 배향으로 제한되지 않는다.
도 6e 는 제 1 광학 경로 (656) 와 연관된 제 1 이미지 센서 (652) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 제 1 애퍼처 (660) 는 제 1 광학 경로 (656) 를 따라 광을 지향시키도록 구성되고, 제 2 애퍼처 (662) 는 제 2 광학 경로 (658) 를 따라 광을 지향시키도록 구성될 수도 있다. 제 1 OE 모드에 대해 제 1 광학 경로 (656) 와 관련하여 제 1 배향의 광학 엘리먼트 (664) 는 제 1 광학 경로 (656) 로부터의 광을 제 1 이미지 센서 (652) 로 지향시킨다.
일부 구현들에서, 예시적인 디바이스 (650) 는 적어도 2 개의 애퍼처들 (660 및 662) 에 의해 공유된 제 1 이미지 센서 (652) 를 포함한다. 일부 다른 구현들에서, 제 1 이미지 센서 (652) 및 옵션의 제 2 이미지 센서 (652) 는 하나 이상의 애퍼처들 (이를 테면 애퍼처 (660) 및 옵션의 애퍼처 (662)) 을 공유할 수도 있다. 예시적인 디바이스가 양자의 이미지 센서들 (652 및 654) 및 양자의 애퍼처들 (660 및 662) 을 포함하는 경우, 광학 엘리먼트 (664) 는 제 1 OE 모드에 대해 제 2 광학 경로 (658) 로부터의 광을 제 2 이미지 센서 (654) 로 지향시킬 수도 있다. 광학 엘리먼트 (664) 는 도 4a 의 광학 엘리먼트 (414) 와 유사할 수도 있다.
제 1 OE 모드와 제 2 OE 모드 사이에서 스위칭함에 있어서, 액추에이터 (666) 는 제 1 광학 경로 (656) 와 관련하여 제 2 배향으로 광학 엘리먼트 (664) 를 회전시킬 수도 있다. 액추에이터 (666) 는, 액추에이터 (666) 가 (광학 엘리먼트의 일단을 향한 축 대신에) 광학 엘리먼트 (664) 의 중심을 향한 축을 따라 광학 엘리먼트 (664) 를 회전시키는 것을 제외하고는, 도 4a 의 액추에이터 (416) 와 유사할 수도 있다. 도 6f 는 제 2 광학 경로 (658) 와 연관된 제 1 이미지 센서 (652) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (650) 가 제 2 애퍼처 (662) 를 포함하는 경우, 제 2 OE 모드에 대해 제 2 배향의 광학 엘리먼트 (664) 는 제 2 광학 경로 (658) 로부터의 광을 제 1 이미지 센서 (652) 로 지향시키도록 구성된다. 디바이스 (650) 가 제 2 이미지 센서 (654) 를 포함하는 경우, 제 2 OE 모드에 대해 제 2 배향의 광학 엘리먼트 (664) 는 제 1 광학 경로 (656) 로부터의 광을 제 2 이미지 센서 (654) 로 지향시키도록 구성될 수도 있다. 일부 다른 구현들에서, 광학 엘리먼트는 OE 모드들 사이에서 스위칭하도록 이동되거나 회전되는 프리즘 또는 다른 객체일 수도 있다.
일부 구현들에서, 광학 엘리먼트를 회전시키는 대신에, 광학 엘리먼트는 광학 엘리먼트에 인가된 자극에 기초하여 광을 지향시키도록 구성된 프리즘 또는 다른 구조일 수도 있다. 도 6g 는 제 1 광학 경로 (676) 와 연관된 제 1 이미지 센서 (672) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (670) 는 사용되는 광학 엘리먼트의 타입 외에는, 도 6e 의 디바이스 (650) 와 유사할 수도 있다. 이러한 방식으로, 제 1 이미지 센서 (672) 는 제 1 이미지 센서 (652) 와 유사할 수도 있고, 옵션의 제 2 이미지 센서 (674) 는 옵션의 제 2 이미지 센서 (654) 와 유사할 수도 있고, 제 1 광학 경로 (676) 는 제 1 광학 경로 (656) 와 유사할 수도 있고, 옵션의 제 2 광학 경로 (678) 는 옵션의 제 2 광학 경로 (658) 와 유사할 수도 있고, 제 1 애퍼처 (680) 는 제 1 애퍼처 (660) 와 유사할 수도 있고, 옵션의 제 2 애퍼처 (682) 는 옵션의 제 2 애퍼처 (662) 와 유사할 수도 있다.
광학 엘리먼트 (686) 가 전기 콘택들 (688) 및 전기 콘택들 (690) 을 통한 전류의 인가에 기초하여 상태들을 변경하는 것으로 예시되지만, 임의의 적합한 자극이 사용될 수도 있고 임의의 방식으로 인가될 수도 있다. 일부 구현들에서, 광학 엘리먼트 (686) 의 제 1 부분은 전류가 전기 콘택들 (688) 을 통해 인가될 때 제 1 배향을 갖는 제 1 분자들의 세트를 포함하고, 광학 엘리먼트 (686) 의 제 2 부분은 전류가 전기 콘택들 (690) 을 통해 인가될 때 제 1 배향을 갖는 제 2 분자들의 세트를 포함한다. 2 개의 전기 콘택들이 예시되지만, 임의의 적합한 수가 사용될 수도 있다 (이를 테면 하나 이상의 전기 콘택들). 제 1 분자들의 세트 및 제 2 분자들의 세트가 제 1 배향에 있을 때, 광학 엘리먼트 (686) 는 도 6g 에 도시된 바와 같이 광을 지향시키도록 구성될 수도 있다. 제 1 분자들의 세트 및 제 2 분자들의 세트는 또한 전류가 인가되지 않을 때 제 2 배향을 가질 수도 있다. 이러한 방식으로, 제 1 분자들의 세트 및 제 2 분자들의 세트가 제 2 배향에 있을 때, 광학 엘리먼트 (686) 는 도 6h 에 도시된 바와 같이 광을 지향시키도록 구성될 수도 있다. 도 6h 는 제 1 광학 경로 (676) 와 연관된 제 2 이미지 센서 (674) 를 예시하는 도 6g 의 예시적인 디바이스 부분의 단면도를 도시한다.
일부 다른 구현들에서, 광학 엘리먼트 (686) 는 함께 결합된 2 개 이상의 광학 엘리먼트들의 별개의 컴포넌트들을 포함할 수도 있다. 예를 들어, 광학 엘리먼트 (686) 의 제 1 부분은 도 6a 의 광학 엘리먼트 (614) 와 유사할 수도 있다. 제 1 부분은 전기 콘택들 (688) 을 통해 인가된 전류에 기초하여 제어될 수도 있다. 광학 엘리먼트 (686) 의 제 2 부분은 90 도 만큼 회전된 광학 엘리먼트 (614) 와 유사할 수도 있다. 제 2 부분은 전기 콘택들 (690) 을 통해 인가된 전류에 기초하여 제어될 수도 있다. 이러한 방식으로, OE 모드들 사이에서 스위칭하는 것은 제 1 OE 모드에 대해 콘택들 (690) 을 통해 전류를 제공하지 않는 것과 콘택들 (688) 을 통해 전류를 제공하는 것과 제 2 OE 모드에 대해 콘택들 (690) 을 통해 전류를 제공하는 것과 콘택들 (688) 을 통해 전류를 제공하지 않는 것 사이에서 스위칭하는 것을 포함할 수도 있다.
광학 엘리먼트의 조정이 광학 엘리먼트를 회전시키거나, 광학 엘리먼트를 이동시키거나, 광학 엘리먼트에 전류 (또는 다른 자극) 를 인가하는 예들에서 도시되지만, 예시적인 조정들 (또는 열을 인가하는 것과 같은, 광학 엘리먼트를 조정하기 위한 다른 적합한 수단) 의 임의의 조합이 수행될 수도 있다. 예를 들어, 디바이스는 적절하게 광학 엘리먼트를 병진 이동 및 회전시키도록 구성될 수도 있다. 다른 예에서, 디바이스는 광학 엘리먼트를 회전시키고 광학 엘리먼트에 전류를 인가하도록 구성될 수도 있다. 일부 구현들에서, 광학 엘리먼트는 광학 엘리먼트에 대한 조정 수단의 조합에 기초하여 2 초과의 광학 경로들 또는 2 초과의 이미지 센서들을 서비스하도록 구성될 수도 있다.
본 명세서에 언급된 바와 같이, 제 1 이미지 센서는 하나 이상의 렌즈들의 제 1 그룹에 커플링될 수도 있거나, 또는 제 2 이미지 센서는 하나 이상의 렌즈들의 제 2 그룹에 커플링될 수도 있다. 제 1 그룹 또는 제 2 그룹은 제 1 이미지 센서가 제 2 이미지 센서와 상이한 FOV, 광학 팩터, 또는 피사계 심도와 연관되도록 구성될 수도 있다. 하나 이상의 렌즈들과 연관된 제 1 이미지 센서 또는 제 2 이미지 센서는 도 7a-도 7f 에 도시된 예들에 도시된다. 도 7a-도 7f 에 도시된 다음의 예들은 (도 4a 및 도 4b 와 유사하게) 광학 엘리먼트를 회전하는 것으로 예시한다. 그러나, 광학 엘리먼트의 회전인 광학 엘리먼트의 조정은 본 개시의 양태들을 설명하는데 있어서 명확성을 위한 것이다. 광학 엘리먼트가 조정될 경우, 광학 엘리먼트는 (회전되는 것, 이동되는 것, 또는 자극에 기초하여 상태들을 변경하는 것을 포함하여) 임의의 적합한 방식으로 조정될 수도 있다.
본 명세서에서 언급된 바와 같이, 제 1 이미지 센서는 제 1 FOV, 제 1 광학 줌, 또는 제 1 피사계 심도와 연관될 수도 있고, 제 2 이미지 센서는 제 2 FOV, 제 2 광학 줌, 또는 제 2 피사계 심도와 연관될 수도 있다. 일부 구현들에서, 제 1 이미지 센서는 연관된 FOV, 광학 줌, 또는 피사계 심도를 가능하게 하기 위해 하나 이상의 렌즈들을 통해 전파되는 광을 수신하도록 배치될 수도 있다. 일부 구현들에서, 제 2 이미지 센서는 연관된 FOV, 광학 줌, 또는 피사계 심도를 가능하게 하기 위해 하나 이상의 렌즈들을 통해 전파되는 광을 수신하도록 배치될 수도 있다. 일부 다른 구현들에서, 제 2 이미지 센서는 하나 이상의 렌즈들의 사용 없이 연관된 FOV, 광학 줌, 또는 피사계 심도를 위해 구성될 수도 있다.
도 7a 는 하나 이상의 렌즈들 (720) 과 연관된 제 1 이미지 센서 (702) 를 예시하는 예시적인 디바이스 (700) 부분의 단면도를 도시한다. 하나 이상의 렌즈들 (720) 은 제 1 이미지 센서 (702) 를 향해 광을 지향시키고 이미지 캡처를 위해 FOV, 줌 팩터, 또는 피사계 심도를 조정할 수도 있다. 일부 구현들에서, 디바이스 (700) 는 또한 제 2 이미지 센서 (704) 와 연관된 하나 이상의 렌즈들 (718) 을 포함할 수도 있다. 하나 이상의 렌즈들 (722) 은 제 2 이미지 센서 (704) 를 향해 광을 지향시키고 이미지 캡처를 위해 FOV, 줌 팩터, 또는 피사계 심도를 조정할 수도 있다. 하나 이상의 렌즈들 (720) (및 옵션으로, 하나 이상의 렌즈들 (718)) 은 제 1 이미지 센서 (702) 로 (또는 제 2 이미지 센서 (704) 로) 수신된 광을 지향시키도록 임의의 적합한 방식으로 구성될 수도 있다. 디바이스 (700) 가 스마트폰이고 제 1 애퍼처 (710) 가 전면을 향하고 있으면 (이를 테면 스마트폰의 디스플레이와 일치함), 스마트폰은 디바이스 모드에 기초하여 상이한 특성들 (이를 테면 상이한 FOV들, 줌 팩터들, 또는 피사계 심도들) 을 갖는 셀피 이미지들을 캡처하도록 구성될 수도 있다. 스마트폰이 제 2 애퍼처 (712) 를 후면 애퍼처로서 포함하면, 스마트폰은 디바이스 모드에 기초하여 상이한 특성들 (이를 테면 상이한 FOV들, 줌 팩터들, 또는 피사계 심도들) 을 갖는 이미지들 (이를 테면, 그룹 이미지들, 풍경 장면들의 이미지들 등) 을 캡처하도록 구성될 수도 있다. 디바이스 (700) 의 다른 컴포넌트들 (제 1 광학 경로 (706), 제 2 광학 경로 (708), 및 컴포넌트 (718) 를 포함함) 은 도 4a-도 4b 에 예시된 유사하거나 동일한 컴포넌트들일 수도 있다.
일부 구현들에서, 이미지 센서와 연관된 하나 이상의 렌즈들은 이미지 센서와 관련하여 이동가능할 수도 있다. 이러한 방식으로, FOV, 줌 팩터, 또는 피사계 심도는 하나 이상의 렌즈들을 이동시키는 것에 기초하여 조정될 수도 있다. 도 7b 는 이동가능한 렌즈 (749) 와 연관된 제 2 이미지 센서 (734) 를 예시하는 예시적인 디바이스 (730) 부분의 단면도를 도시한다. 일부 구현들에서, 이동가능한 렌즈는 하나 이상의 렌즈들을 포함한다. 하나 이상의 렌즈들은 초점 또는 줌 목적, 또는 다른 적합한 목적 (이를 테면 FOV 를 조정하는 것) 을 위한 것일 수도 있다. 디바이스 (730) 가 스마트폰 (또는 유사한 비율을 갖는 디바이스) 이면, 스마트폰은 거리의 적어도 일부가 스마트폰의 디스플레이와 평행하면 제 1 애퍼처 (740) 와 제 2 이미지 센서 (734) 사이의 더 긴 거리를 가능하게 할 수도 있다. 이러한 방식으로, 디바이스 (730) 는 제 2 이미지 센서 (734) 와 관련하여 (또는 하나 이상의 렌즈들 중 다른 렌즈와 관련하여) 하나 이상의 렌즈들을 이동시키기 위해 광학 시스템을 포함할 수도 있다. 도 7b 에 도시된 예는 하나의 렌즈 (749) 를 도시하지만, 렌즈 (749) 는 임의의 수의 렌즈들 및 렌즈들을 서로 또는 제 2 이미지 센서 (734) 와 관련하여 이동시키기 위한 수단을 포함할 수도 있다.
디바이스 (730) 는 렌즈 (749) 를 이동시키기 위해 액추에이터 (747) 를 포함한다. 렌즈 (749) 를 이동시키는 것은 제 2 이미지 센서 (734) 에 대한 초점 동작을 위한 것이거나 제 2 이미지 센서 (734) 에 대한 줌 팩터를 조정하기 위한 것일 수도 있다. 도시되지는 않았지만, 제 1 이미지 센서 (732) 는 또한 하나 이상의 이동가능한 렌즈들과 연관될 수도 있다. 예시된 바와 같이, 렌즈 (749) 의 포지션은 디바이스 (730) 가 (이를 테면 제 1 OE 모드에서) 제 2 애퍼처 (742) 로부터 수신된 광에 대한 이미지 캡처를 위해 제 2 이미지 센서 (734) 를 사용하도록 구성될 때 제 2 이미지 센서 (734) 와 관련하여 조정될 수도 있다. 렌즈 (749) 의 포지션의 조정은 또한, 디바이스 (730) 가 (이를 테면 제 2 OE 모드에서) 제 1 애퍼처 (740) 로부터 수신된 광에 대한 이미지 캡처를 위해 제 2 이미지 센서 (734) 를 사용하도록 구성될 때 발생할 수도 있다. 일부 구현들에서, 디바이스 제어기 (이를 테면 도 3a 의 제어기 (310)) 는 액추에이터 (747) 를 제어하도록 구성된다. 액추에이터 (747) 는 기계적 힘, 전기적 힘, 자기적 힘, 또는 다른 적합한 힘에 기초하여 렌즈 (749) 를 이동시킬 수도 있다. 예를 들어, 액추에이터 (747) 는 제 2 이미지 센서 (734) 로부터 멀어지는 상이한 포지션들을 갖는 가이드를 따라 렌즈 (749) 를 이동시킬 수도 있다. 이러한 방식으로, 제어기 (310) 는 렌즈 (749) 의 포지션을 제어할 수도 있다.
일부 구현들에서, 제 2 이미지 센서는 하나 이상의 렌즈들과 관련하여 이동할 수도 있다. 도 7c 는 렌즈들 (769) 과 관련하여 이동가능한 제 2 이미지 센서 (754) 를 예시하는 예시적인 디바이스 (750) 부분의 단면도를 도시한다. 렌즈 (769) 는 디바이스 (750) 와 관련하여 이동하지 않는 것으로 도시되지만, 렌즈 (769) 는 또한 이동가능할 수도 있다. 디바이스 (750) 는 제 2 이미지 센서 (754) 가 이동가능한 것 외에는, 도 7b 의 디바이스 (730) 와 유사할 수도 있다. 일부 구현들에서, 제 2 이미지 센서 (754) 는 렌즈 (749) (도 7b) 가 이동되는 방법과 유사하게 이동될 수도 있다. 예를 들어, 제 2 이미지 센서 (754) 는 액추에이터 (767) 에 커플링될 수도 있고, 액추에이터는 (이를 테면 기계적 힘, 전기적 힘, 자기적 힘, 또는 다른 적합한 힘을 통해) 제 2 이미지 센서 (754) 를 이동시키도록 구성될 수도 있다. 이러한 방식으로, 제 2 이미지 센서 (754) 와 연관된 FOV, 줌 팩터, 또는 피사계 심도가 조정될 수도 있다.
도 7a-도 7c 는 제 1 애퍼처 및 제 2 애퍼처가 디바이스의 상이한 측면들 상에 있는 것을 예시한다. 그러나, 애퍼처들은 각각 도 7d-도 7f 에 예시된 바와 같이, 디바이스의 동일한 측면 상에 있을 수도 있다. 도 7d 는 제 1 광학 경로 (707) 와 연관된 제 1 이미지 센서 (703) 를 예시하는 예시적인 디바이스 (701) 부분의 단면도를 도시한다. 디바이스 (701) 는 애퍼처들 (711 및 713) 이 디바이스의 동일한 측면 상에 있는 것 외에는, 도 7a 의 디바이스 (700) 와 유사할 수도 있다. 도 7e 는 제 1 광학 경로 (737) 와 연관된 제 1 이미지 센서 (733) 를 예시하는 예시적인 디바이스 (731) 부분의 단면도를 도시한다. 디바이스 (731) 는 애퍼처들 (741 및 743) 이 디바이스의 동일한 측면 상에 있는 것 외에는, 도 7b 의 디바이스 (730) 와 유사할 수도 있다. 도 7f 는 제 1 광학 경로 (776) 와 연관된 제 1 이미지 센서 (772) 를 예시하는 예시적인 디바이스 (770) 부분의 단면도를 도시한다. 디바이스 (770) 는 애퍼처들 (780 및 782) 이 디바이스의 동일한 측면 상에 있는 것 외에는, 도 7c 의 디바이스 (750) 와 유사할 수도 있다. 도 7a-도 7c 는 도 3b 의 디바이스 (330) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있고, 도 7d-도 7f 는 도 3c 의 디바이스 (335) 에 대한 또는 도 3d 의 디바이스 (340) 에 대한 예시적인 컴포넌트 구성들을 예시할 수도 있다.
다시 도 3e 및 도 3f 를 참조하면, 디바이스가 제 1 모드에 있는지 또는 제 2 모드에 있는지는 임계 줌 팩터 또는 임계 FOV 에 기초할 수도 있다. 디바이스가 (도 7b, 도 7c, 도 7e, 및 도 7f 에 도시된 것과 같이) 하나 이상의 렌즈들 또는 이미지 센서를 이동시키도록 구성되면, 디바이스는 하나 이상의 렌즈들 또는 이미지 센서를 이동시킴으로써 증분적인 방식으로 광학 줌 또는 FOV 를 조정할 수도 있다. 하나 이상의 렌즈들 또는 이미지 센서가 최대 움직임에 도달할 때, 디바이스는 다른 이미지 센서를 사용하기 위해 모드들을 스위칭할 수도 있다. 예를 들어, 다시 도 7f 를 참조하면, 제 2 이미지 센서 (774) 는 이미지 센서를 이동시키는 것에 기초하여 1x 로부터 5x 까지의 광학 줌과 연관될 수도 있고, 제 1 이미지 센서 (772) 는 0x 광학 줌과 연관될 수도 있다. 현재 줌 팩터가 5x 로 설정되면 (이를 테면 슬라이더가 도 3f 의 선택 툴 (353) 에서 우측으로 완전히 감), 디바이스 (770) 는 이미지 캡처를 위해 제 2 이미지 센서 (774) 를 사용하도록 구성될 수도 있다. 사용자는 (이를 테면 W 를 누르거나 슬라이더를 좌측으로 이동시킴으로써) 줌 팩터를 감소시킬 수도 있다. 줌 팩터가 감소함에 따라, 디바이스 (770) 는 제 2 이미지 센서 (774) 가 (1x 광학 줌과 연관된) 한계에 도달할 때까지 제 2 이미지 센서 (774) 를 이동시킨다. 사용자가 1x 미만으로 줌 팩터를 계속 감소시키면, 디바이스 (770) 는 디바이스 모드들을 스위칭하고 0x 광학 줌과 연관된 제 1 이미지 센서 (772) 를 사용할 수도 있다. 일부 구현들에서, 제 1 이미지 센서 (772) 로부터의 이미지들의 디지털 프로세싱은 줌 팩터가 감소되는 것을 시뮬레이션하기 위해 수행될 수도 있다. 디바이스가 미리보기를 (이를 테면 줌 팩터를 감소시킴에 있어서 도 3f 의 하부 상의 미리보기로부터 도 3f 의 상부 상의 미리보기로) 도시하면, 미리보기는 줌 팩터가 점차 감소하는 것을 도시할 수도 있다.
디바이스 모드가 임계 FOV, 줌 팩터, 또는 피사계 심도에 기초하면, 임계치는 하나 이상의 렌즈들 및/또는 이미지 센서를 이동시키는 물리적 한계에 기초할 수도 있다. 상기 예에서, 임계 줌 팩터는 1x 일 수도 있고, 여기서 제 2 이미지 센서 (774) 는 임계치보다 큰 줌 팩터를 위해 사용되고 제 1 이미지 센서 (772) 는 임계치보다 작은 줌 팩터를 위해 사용된다. 하나 이상의 렌즈들 및 이미지 센서들이 고정되면, 임계치는 이미지 센서들로부터의 이미지들의 디지털 프로세싱 요건, 이미지 센서들의 해상도, 또는 다른 이미지 캡처 특성들에 기초할 수도 있다.
설명된 바와 같이, 디바이스는 상이한 FOV 기반 이미지들을 위해, 상이한 줌 기반 이미지들을 위해, 상이한 피사계 심도 기반 이미지들을 위해, 또는 디바이스 모드들 사이의 이미지 캡처의 다른 적합한 차이들을 위해 단일 애퍼처를 사용하도록 구성될 수도 있다. 예들에서, 2 개 이상의 이미지 센서들은 디바이스에서 제 1 광학 경로 (및 연관된 애퍼처) 를 공유할 수도 있다. 일부 예들에서, 2 개 이상의 이미지 센서들은 디바이스에서 제 2 광학 경로 (및 연관된 애퍼처) 를 공유할 수도 있다. 광학 경로가 공유되는 방법은 광학 엘리먼트 (이를 테면 광학 엘리먼트가 제 1 OE 모드에 있는지 또는 제 2 OE 모드에 있는지) 에 기초할 수도 있다.
도 8a 는 제 1 이미지 센서 및 제 2 이미지 센서가 제 1 광학 경로를 공유하는 예시적인 동작 (800) 을 도시하는 예시적인 플로우 차트를 도시한다. 제 1 이미지 센서, 제 2 이미지 센서, 및 제 1 광학 경로는 도 3a-도 7f 에 도시된 바와 같을 수도 있다 (또는 달리 설명된 바와 같을 수도 있음). 동작 (800) 및 다른 동작들 (이를 테면 도 9 의 동작 (900)) 은 명확성을 위해 도 3a 의 디바이스 (300) 에 의해 수행되는 것으로 설명되지만, 임의의 적합한 디바이스 또는 디바이스 구성에 적용될 수도 있다.
802 에서, 제 1 애퍼처 (320) 는 디바이스 (300) 내의 제 1 광학 경로 (301) 로 광을 지향시킨다. 결정 블록 (804) 에서, 디바이스 (300) 의 광학 엘리먼트 (304) 가 제 1 OE 모드에 있으면, 동작 (800) 은 단계 (806) 로 진행한다. 예를 들어, 광학 엘리먼트 (304) 는 제 1 배향에 있거나, 제 1 포지션에 있거나, 전류 또는 다른 자극이 인가되거나 등등일 수도 있다. 광학 엘리먼트 (304) 가 제 1 OE 모드에 있지 않으면 (이를 테면 광학 엘리먼트 (304) 는 제 2 배향에 있거나, 제 2 포지션에 있거나, 전류 또는 다른 자극이 인가되지 않거나 등등임), 동작 (800) 은 단계 (810) 로 진행한다. 단계 (806) 를 참조하면, 광학 엘리먼트 (304) 는 제 1 광학 경로 (301) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (304) 는 광학 엘리먼트 (304) 의 배향, 광학 엘리먼트 (304) 의 포지션, 광학 엘리먼트 (304) 의 상태 (광학 엘리먼트 (304) 에 전류가 인가되는 것에 기초함) 등에 기초하여 제 1 광학 경로 (301) 로부터의 광을 제 1 이미지 센서 (302) 로 반사 또는 굴절시킬 수도 있다. 808 에서, 제 1 이미지 센서 (302) 는 제 1 광학 경로 (301) 로부터 수신된 광으로부터 제 1 이미지를 캡처한다.
단계 (810) 를 참조하면, 디바이스 (300) 는 제 1 광학 경로 (301) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (304) 는 제 1 광학 경로 (301) 로부터의 광을 차단하지 않아 광이 제 2 이미지 센서 (303) 에 도달하게 할 수도 있다. 다른 예에서, 광학 엘리먼트 (304) 는 제 1 광학 경로 (301) 로부터의 광이 광학 엘리먼트 (304) 를 통하여 그리고 제 2 이미지 센서 (303) 로 통과하게 하기 위해 자극 (이를 테면 전류) 에 기초한 상태에 있거나 배향을 가질 수도 있다. 812 에서, 제 2 이미지 센서 (303) 는 제 1 광학 경로 (301) 로부터 수신된 광으로부터 제 2 이미지를 캡처한다. 본 명세서에 언급된 바와 같이, 제어기 (310) 는 예시적인 동작 (800) 에 대해 OE 모드들 사이에서 스위칭하기 위해 광학 엘리먼트 (304) 를 조정하도록 구성될 수도 있다.
디바이스 (300) 는 또한 추가적인 광학 경로들에 커플링된 추가적인 애퍼처들을 포함할 수도 있다. 예를 들어, 도 3a 에 도시된 바와 같이, 디바이스 (300) 는 제 2 광학 경로 (324) 를 따라 광을 지향시키도록 구성된 제 2 애퍼처 (322) 를 포함할 수도 있다. 광학 엘리먼트 (304) 는 제 2 광학 경로 (324) 로부터의 광을 이미지 캡처를 위해 제 1 이미지 센서 (302) 로 또는 제 2 이미지 센서 (303) 로 지향시키도록 구성될 수도 있다.
도 8b 는 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 가 제 2 광학 경로 (324) 를 또한 공유하는 예시적인 동작 (820) 을 도시하는 예시적인 플로우 차트를 도시한다. 예시적인 동작 (820) 은 도 8a 의 예시적인 동작과 상보적일 수도 있다 (이를 테면 그와 동시에 수행됨). 822 에서, 제 2 애퍼처 (322) 는 디바이스 (300) 내의 제 2 광학 경로 (324) 로 광을 지향시킨다. 결정 블록 (824) 에서, 광학 엘리먼트 (304) 가 제 1 OE 모드에 있으면, 동작 (820) 은 단계 (826) 로 진행한다. 광학 엘리먼트 (304) 가 제 1 OE 모드에 있지 않으면 (이를 테면 광학 엘리먼트 (304) 는 제 2 배향에 있거나, 제 2 포지션에 있거나 등등임), 동작 (820) 은 단계 (830) 로 진행한다. 단계 (826) 를 참조하면, 광학 엘리먼트 (304) 는 제 2 광학 경로 (324) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (304) 는 광학 엘리먼트 (304) 의 배향, 광학 엘리먼트 (304) 의 포지션, 광학 엘리먼트 (304) 의 상태 (광학 엘리먼트 (304) 에 전류가 인가되는 것에 기초함) 등에 기초하여 제 2 광학 경로 (324) 로부터의 광을 제 2 이미지 센서 (303) 로 반사시킬 수도 있다. 828 에서, 제 2 이미지 센서 (303) 는 제 2 광학 경로 (324) 로부터 수신된 광으로부터 제 3 이미지를 캡처한다.
단계 (830) 를 참조하면, 디바이스 (300) 는 제 2 광학 경로 (324) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (304) 는 제 2 광학 경로 (324) 로부터의 광을 차단하지 않아 광이 제 1 이미지 센서 (302) 에 도달하게 하는 포지션에 있을 수도 있다. 다른 예에서, 광학 엘리먼트 (304) 는 제 2 광학 경로 (324) 로부터의 광이 광학 엘리먼트 (304) 를 통하여 그리고 제 1 이미지 센서 (302) 로 통과하게 하기 위해 자극 (이를 테면 전류) 에 기초한 상태에 있거나 배향을 가질 수도 있다. 832 에서, 제 1 이미지 센서 (302) 는 제 2 광학 경로 (324) 로부터 수신된 광으로부터 제 4 이미지를 캡처한다. 본 명세서에 언급된 바와 같이, 제어기 (310) 는 예시적인 동작 (820) 에 대해 OE 모드들 사이에서 스위칭하기 위해 광학 엘리먼트 (304) 를 조정하도록 구성될 수도 있다.
도 9a 는 이미지 캡처를 위한 예시적인 동작 (900) 을 도시하는 예시적인 플로우 차트를 도시한다. 902 에서, 디바이스 (300) 는 디바이스가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 식별한다. 예를 들어, 제어기 (310) 는 이미지 캡처를 위해 제 1 이미지 센서 (302) 가 사용될 것인지 또는 제 2 이미지 센서 (303) 가 사용될 것인지를 결정한다. 일부 구현들에서, 제어기 (310) 는 사용자 입력에 기초하여 디바이스 모드를 결정할 수도 있다 (904). 예를 들어, 사용자는 디바이스 (300) 가 제 2 디바이스 모드에 있을 것임을 표시하기 위해 (이를 테면 제 2 이미지 센서가 사용될 것임을 표시함) 디스플레이 (314) 를 통해 GUI 를 사용할 수도 있다. 일부 다른 구현들에서, 제어기 (310) 는 FOV (906), 줌 팩터 (908), 또는 피사계 심도 (910) 중 하나 이상에 기초하여 디바이스 모드를 결정할 수도 있다. 예를 들어, 사용자는 원하는 FOV, 줌 팩터, 또는 피사계 심도를 표시할 수도 있고, 디바이스 (300) 는 원하는 FOV, 줌 팩터 또는 피사계 심도를 제 1 이미지 센서와 연관된 FOV, 줌 팩터, 또는 피사계 심도와, 그리고 제 2 이미지 센서와 연관된 FOV, 줌 팩터, 또는 피사계 심도와 비교할 수도 있다. 그 다음, 디바이스 (300) 는 비교에 기초하여 제 1 이미지 센서 또는 제 2 이미지 센서를 선택할 수도 있다. 예를 들어, 임계 줌 팩터는 디바이스 (300) 가 제 1 디바이스 모드에 있을 것인지 또는 제 2 디바이스 모드에 있을 것인지를 결정하는데 사용될 수도 있다. 캡처될 이미지가 임계치보다 작은 줌 팩터와 연관되면, 디바이스 (300) 는 디바이스 (300) 가 제 1 디바이스 모드에 있을 것이라고 결정할 수도 있다. 캡처될 이미지가 임계치보다 큰 줌 팩터와 연관되면, 디바이스 (300) 는 디바이스 (300) 가 제 2 디바이스 모드에 있을 것이라고 결정할 수도 있다.
일부 구현들에서, 제어기 (310) 는 디바이스 (300) 의 상태에 기초하여 디바이스 모드를 결정할 수도 있다 (911). 예를 들어, 제 1 이미지 센서 (302) 는 저전력 이미지 센서일 수도 있고, 제 2 이미지 센서 (303) 는 고전력 이미지 센서일 수도 있다. 디바이스 (300) 가 (저전력 상태, 잠금 상태 등에 있는 것과 같이) 잠금 (또는 오프) 디스플레이 (314) 를 가질 때, 디바이스 (300) 는 얼굴이 제 2 이미지 센서 (303) 를 사용한 얼굴 인식을 위해 시야에 들어갈 수도 있는지를 결정하기 위해 제 1 이미지 센서 (302) 를 사용하여 객체 검출을 수행하도록 구성될 수도 있다. 이러한 방식으로, 제어기 (310) 는 (시야에 들어가는 객체들을 검출하기 위해) 저전력 상태에 있을 때 디바이스 (300) 가 제 1 디바이스 모드에 있다고 결정할 수도 있다. 객체가 검출될 때, 제어기 (310) 는 제 2 이미지 센서 (303) 를 사용하여 얼굴 인식을 수행하기 위해 디바이스 (300) 를 제 2 디바이스 모드로 스위칭할 수도 있다.
912 에서, 디바이스 (300) 는 식별된 디바이스 모드에 기초하여 광학 엘리먼트 (304) 를 제어할 수도 있다. 예를 들어, 제어기 (310) 는 광학 엘리먼트 (304) 가 공유된 광학 경로로부터의 광을 식별된 디바이스와 연관된 이미지 센서로 지향시키도록 광학 엘리먼트 (304) 가 조정될 것인지 여부를 결정할 수도 있다. 광학 엘리먼트 (304) 가 조정되어야 하는 경우, 제어기 (310) 는 광학 엘리먼트 (304) 를 조정하도록 하나 이상의 컴포넌트들에 명령할 수도 있다. 일부 구현들에서, 광학 엘리먼트 (304) 는 제 1 OE 모드에서 (제 1 광학 경로 (301) 를 따라 전파될 수도 있는) 제 1 애퍼처 (320) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시킨다 (914). 추가로, 또는 대안적으로, 광학 엘리먼트 (304) 는 제 2 OE 모드에서 제 1 애퍼처 (320) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시킬 수도 있다 (916). 디바이스 (300) 가 제 1 이미지 센서 (302) 및 제 2 이미지 센서 (303) 에 의해 공유된 제 2 광학 경로 (324) 로 광을 지향시키기 위해 제 2 애퍼처 (322) 를 포함하면, 광학 엘리먼트 (304) 는 제 1 OE 모드에서 제 2 애퍼처 (322) 로부터의 광을 제 2 이미지 센서 (303) 로 지향시킬 수도 있고, 광학 엘리먼트 (304) 는 제 2 OE 모드에서 제 2 애퍼처 (322) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시킬 수도 있다.
일부 구현들에서, OE 모드는 이미지 센서로부터의 광 정보에 기초할 수도 있다. 제 1 이미지 센서 (302) 가 객체 검출을 위한 저전력 이미지 센서이고 제 2 이미지 센서 (303) 가 얼굴 인식을 위한 고전력 이미지 센서이면, 제어기 (310) 는 먼저 (제 1 디바이스 모드 동안) 객체 검출을 위해 원하는 애퍼처로부터의 광을 제 1 이미지 센서 (302) 로 지향시키도록 OE 모드를 제어할 수도 있다. 제어기 (310) 가 제 1 이미지 센서 (302) 로부터의 이미지들로부터, 얼굴이 시야에 들어왔음을 결정할 때, 제어기 (310) 는 (제 2 디바이스 모드 동안) 얼굴 인식을 위해 원하는 애퍼처로부터의 광을 제 2 이미지 센서 (303) 로 지향시키도록 OE 모드를 스위칭할 수도 있다. 일부 구현들에서, OE 모드는 또한 하나 이상의 센서들 (326) 로부터의 측정들 (이를 테면 자력계로부터의 배향 측정들 또는 다른 센서들로부터의 다른 적합한 측정들) 에 기초할 수도 있다.
도 9b 는 광학 엘리먼트 (304) 를 제어하기 위한 예시적인 동작 (920) 을 도시하는 예시적인 플로우 차트를 도시한다. 동작 (920) 은 도 9a 의 912 의 예시적인 구현일 수도 있다. 922 에서, 디바이스 (300) 는 식별된 디바이스 모드에 기초하여 광학 엘리먼트 (304) 가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별한다. 예를 들어, 제어기 (310) 는 이미지 캡처를 위해 어느 이미지 센서가 사용될지에 기초하여 광학 엘리먼트 (304) 가 제 1 광학 경로 (301) 로부터의 광을 제 1 이미지 센서 (302) 로 지향시킬지 또는 제 2 이미지 센서 (303) 로 지향시킬지를 결정할 수도 있다. 일부 구현들에서, 제어기 (310) 는 어느 애퍼처가 사용될지에 기초하여 OE 모드를 식별한다 (924). 예를 들어, 제 1 애퍼처 (320) 가 스마트폰의 전방 측면 상에 있고, 제 2 애퍼처 (322) 가 스마트폰의 (전방 측면에 대향하는) 후방 측면 상에 있고, 스마트폰이 전방 측면을 위로 하여 테이블 상에 있으면, 제어기 (310) 는 (이를 테면 제 1 이미지 센서 (302) 또는 제 2 이미지 센서 (303) 에 의해 캡처된 이미지들로부터의 광 정보에 기초하여, 하나 이상의 센서들 (326) 로부터의 배향 측정들에 기초하여 등등으로) 제 1 애퍼처 (320) 가 사용될 것이라고 결정할 수도 있다.
추가로 또는 대안으로, 제어기 (310) 는 이미징 애플리케이션에 기초하여 OE 모드를 식별할 수도 있다 (926). 예를 들어, 디바이스 (300) 가 스크린이 잠긴 저전력 모드에 있으면, 이미징 애플리케이션은 저전력 이미지 센서를 사용한 (제 1 디바이스 모드 동안) 객체 검출 및 고전력 이미지 센서를 사용한 (제 2 디바이스 모드 동안) 얼굴 인식일 수도 있다. 따라서 OE 모드는 객체 검출 동안 원하는 애퍼처로부터의 광을 제 1 이미지 센서 (302) 로 지향시키는 것 및 얼굴 인식 동안 원하는 애퍼처로부터의 광을 제 2 이미지 센서 (303) 로 지향시키는 것에 기초할 수도 있다. 다른 예에서, OE 모드는 디바이스 (300) 가 단일 디바이스 모드에 있는 동안 변경될 수도 있다. 예를 들어, OE 모드는 3 차원 이미징을 위해 제 1 이미지 센서 (302) 를 사용하는 동안 스위칭 (이를 테면 교번) 할 수도 있다. 이러한 방식으로, 동작 (920) 은 디바이스 (300) 가 특정 디바이스 모드에 있는 동안 다수 회 수행될 수도 있다. OE 모드를 식별하는 것은 (OE 모드가 디바이스 모드 동안 변경될지 여부를 포함함) 은 따라서 이미징 애플리케이션에 기초할 수도 있다. 결정된 OE 모드에 대해, 제어기 (310) 는 광학 엘리먼트 (304) 가 어느 상태에 있을 것인지를 결정할 수도 있다. 예를 들어, 제어기 (310) 는 광학 엘리먼트 (304) 가 (회전을 통해) 제 1 또는 제 2 배향에 있을 것인지, (병진 이동을 통해) 제 1 또는 제 2 포지션에 있을 것인지, 또는 (전류, 열 등과 같은 자극의 인가를 통해) 제 1 또는 제 2 재료 상태에 있을 것인지를 결정할 수도 있다.
일부 구현들에서, 제어기 (310) 는 광학 엘리먼트 (304) 의 현재 상태를 결정하기 위해 광학 엘리먼트 (304) 를 이동시키거나, 회전시키거나, 또는 그것에 자극을 인가하는 하나 이상의 컴포넌트들로부터의 피드백을 수신할 수도 있다. 일부 다른 구현들에서, 제어기 (310) 는 광학 엘리먼트 (304) 가 광학 엘리먼트 (304) 를 특정 OE 모드에 배치시키기 위한 이전 명령들 또는 제어들에 기초하여 현재 OE 모드를 결정할 수도 있다. 예를 들어, 제어기 (310) 또는 다른 적합한 컴포넌트는 광학 엘리먼트 (304) 에 대한 제어기의 명령들 또는 광학 엘리먼트 (304) 의 제어에 기초하여 현재 OE 모드를 저장할 수도 있다. 이러한 방식으로, 제어기 (310) 는 광학 엘리먼트 (304) 가 OE 모드들을 변경할 것인지, 그렇지 않으면 조정될지를 결정하기 위해 식별된 OE 모드와 현재 OE 모드를 비교할 수도 있다.
928 에서, 디바이스 (300) 는 식별된 OE 모드에 기초하여 광학 엘리먼트 (304) 를 조정할 수도 있다. 일부 구현들에서, 제어기 (310) 가 현재 OE 모드와 식별된 OE 모드 사이에 차이가 있다고 결정하면, 제어기 (310) 는 식별된 OE 모드에 광학 엘리먼트 (304) 를 배치하도록 광학 엘리먼트 (304) 를 제어할 수도 있다. 예를 들어, 디바이스 (300) 는 광학 엘리먼트 (304) 를 회전시킬 수도 있다 (930). 이러한 방식으로, 제어기 (310) 는 광학 엘리먼트 (304) 를 회전시키도록 액추에이터에 명령하거나 그를 제어할 수도 있다. 다른 예에서, 디바이스 (300) 는 광학 엘리먼트를 병진 이동시킬 수도 있다 (932). 이러한 방식으로, 제어기 (310) 는 광학 엘리먼트 (304) 를 다른 포지션으로 병진 이동시키기 위해 광학 엘리먼트 (304) 에 물리적 힘, 자기적 힘, 또는 다른 적합한 힘을 인가하도록 액추에이터에 명령하거나 그를 제어할 수도 있다. 추가 예에서, 디바이스 (300) 는 광학 엘리먼트 (304) 에 자극을 인가 (이는 그 자극을 제거하거나 그 자극의 레벨을 조정하는 것을 포함할 수도 있음) 할 수도 있다 (934). 하나의 자극은 광학 엘리먼트 (304) 에 인가된 전류일 수도 있다 (936). 예를 들어, 제어기 (310) 는 전력 레일로부터 광학 엘리먼트로 전류를 전달 또는 제거하기 위해 스위치를 제어할 수도 있다. 다른 예에서, 제어기 (310) 는 광학 엘리먼트에 인가된 전류 레벨을 제어할 수도 있고, 광학 엘리먼트 (304) 의 하나 이상의 특성들은 전류 레벨에 기초할 수도 있다. 예를 들어, 굴절률, 반사도, 또는 투명도는 광학 엘리먼트 (304) 에 인가된 전류의 변경에 기초하여 가변할 수도 있다.
디바이스 (300) 가 제 1 디바이스 모드에 있을 때, 제 1 이미지 센서 (302) 는 프로세싱을 위해 하나 이상의 이미지들 (이를 테면 비디오용 이미지들의 연속) 을 캡처할 수도 있다. 디바이스 (300) 가 제 2 디바이스 모드에 있을 때, 제 2 이미지 센서 (303) 는 프로세싱을 위해 하나 이상의 이미지들 (이를 테면 비디오용 이미지들의 연속) 을 캡처할 수도 있다. 이미지 신호 프로세서 (312) 또는 디바이스 (300) 내의 이미지 프로세싱 파이프라인의 다른 부분들은 (하나 이상의 이미지 프로세싱 필터들을 적용하는 것, 비디오용 이미지들의 시퀀스를 인코딩하는 것 등과 같이) 최종 이미지 또는 비디오를 생성하기 위해 하나 이상의 이미지들을 프로세싱할 수도 있다. 본 명세서에 언급된 바와 같이, 디바이스 모드는 (비디오에 대한 FOV, 줌 팩터, 또는 피사계 심도를 조정할 때와 같이) 비디오 캡처 동안 변경될 수도 있다. 이러한 방식으로, 이미지 신호 프로세서 (312) (및 다른 컴포넌트들) 은 제 1 이미지 센서 (302) 로부터의 제 1 이미지들의 그룹을 프로세싱하고 제 2 이미지 센서 (303) 로부터의 제 2 이미지들의 그룹을 프로세싱할 수도 있다. 제 1 이미지들의 그룹 및 제 2 이미지들의 그룹은 비디오를 생성하기 위해 함께 인코딩될 수도 있다.
위에 언급된 바와 같이, 광학 엘리먼트는 하나 이상의 디바이스 센서들로부터의 정보에 기초하여 제어될 수도 있다. 예를 들어, 제어기 (310) 는 (이를 테면 자력계로부터의 배향 측정들, 제 1 이미지 센서 (302) 로부터의 광 강도 측정들, 및/또는 다른 적합한 측정들로부터 결정된) 디바이스 (300) 의 배향에 기초하여 OE 모드를 제어할 수도 있다. 도 9c 는 디바이스 배향에 기초하여 광학 엘리먼트 (304) 를 제어하기 위한 예시적인 동작 (950) 을 도시하는 예시적인 플로우 차트를 도시한다. 디바이스 배향은 하나 이상의 디바이스 센서들을 사용하여 결정될 수도 있다. 디바이스 (300) 에 대한 디바이스 센서들은 하나 이상의 센서들 (326) (이를 테면 배향 센서, 이는 자이로스코프 또는 자력계를 포함할 수도 있음), 제 1 이미지 센서 (302), 제 2 이미지 센서 (303), 또는 디바이스 (300) 의 임의의 다른 적합한 센서를 포함할 수도 있다. 동작 (950) 은 도 9b 의 단계 (924) 의 예시적인 구현일 수도 있다. 단계 (924) (도 9b) 에 대해, 제어기 (310) 는 이미지 캡처를 위해 어느 애퍼처가 사용될지에 기초하여 OE 모드를 식별할 수도 있다.
도 9c 의 952 에서, 제어기 (310) 는 디바이스 (300) 의 배향을 결정한다. 일부 구현들에서, 제어기 (310) 는 이미지 센서로부터의 하나 이상의 이미지들로부터의 광 강도 정보에 기초하여 디바이스 배향을 결정한다 (954). 예를 들어, 제 1 애퍼처 (320) 로부터의 광이 제 1 이미지 센서 (302) 로 지향되도록 디바이스 (300) 가 제 1 OE 모드에 있고 제 1 애퍼처 (320) 가 장면으로부터 광을 수신하는 것이 차단되도록 디바이스 (300) 가 표면 상에 설정되거나 그렇지 않으면 배향되면, 제어기 (310) 는 제 1 애퍼처 (320) 가 표면을 향해 아래로 지향되도록 디바이스 (300) 의 배향이 있다고 결정할 수도 있다. 제 2 애퍼처 (322) 가 제 1 애퍼처 (320) 와 상이한 디바이스 (300) 의 측면 상에 있으면, 제 2 애퍼처 (322) 는 광 강도 정보에 기초하여 원하는 애퍼처일 수도 있다. 추가로 또는 대안으로, 제어기 (310) 는 하나 이상의 배향 센서들로부터의 측정들에 기초하여 디바이스 배향을 결정할 수도 있다 (956). 예를 들어, 자력계 또는 자이로스코프는 디바이스 (300) 의 배향을 표시하는 측정들을 제어기 (310) 에 제공할 수도 있다. 배향은 제 1 애퍼처 (320) 가 (이를 테면 디바이스 (300) 가 놓여 있는 표면을 향하여) 아래로 지향됨을 표시할 수도 있다. 제 2 애퍼처 (322) 가 제 1 애퍼처 (320) 와 상이한 디바이스 (300) 의 측면 상에 있으면, 제 2 애퍼처 (322) 는 배향 측정들에 기초하여 원하는 애퍼처일 수도 있다.
958 에서, 제어기 (310) 는 디바이스 (300) 의 배향에 기초하여 어느 애퍼처를 사용할지를 결정한다. 예를 들어, 디바이스 (300) 가 전방 측면 상에 제 1 애퍼처 (320) 그리고 후방 측면 상에 제 2 애퍼처 (322) 를 갖는 스마트폰이면, 어느 애퍼처가 사용될지는 스마트폰이 표면 (이를 테면 테이블 또는 의자) 상에 놓여 있을 때 어느 측면이 위를 향하고 있는지에 기초할 수도 있다. 디바이스 (300) 가 전방 측면을 아래로/표면을 향하여 배향되면, 제어기 (310) 는 제 2 애퍼처 (322) 를 사용할 애퍼처로서 식별할 수도 있다 (제 1 애퍼처 (320) 가 표면을 향해 지향됨). 디바이스 (300) 가 후방 측면을 아래로/표면을 향해 배향되면, 제어기 (310) 는 제 1 애퍼처 (320) 를 사용할 애퍼처로서 식별할 수도 있다 (제 2 애퍼처 (322) 가 표면을 향해 지향됨).
960 에서, 제어기 (310) 는 식별된 애퍼처에 기초하여 OE 모드를 식별한다. 예를 들어, 디스플레이 (314) 가 잠겨 있으면, 디바이스 (300) 는 제 1 이미지 센서 (302) (이는 AO 이미지 센서와 같은 저전력 이미지 센서일 수도 있음) 를 사용하여 객체 검출을 수행할 수도 있다. 디바이스 (300) 가 전방 측면을 위로 배향되는 것으로 식별되면, 디바이스 (300) 는 제 1 애퍼처 (320) 가 사용될 것이라고 결정할 수도 있다. 제 1 애퍼처 (320) 및 제 1 이미지 센서 (302) 가 사용될 것이기 때문에, 제어기 (310) 는 제 1 애퍼처 (320) 가 제 1 이미지 센서 (302) 를 향해 광을 지향시키기 위한 제 1 OE 모드를 식별할 수도 있다. 디바이스 (300) 가 제 2 이미지 센서 (303) 를 사용하여 얼굴 인식을 수행할 때, 디바이스 (300) 는 제 1 애퍼처 (320) 가 제 2 이미지 센서 (303) 를 향해 광을 지향시키기 위한 제 2 OE 모드를 식별할 수도 있다. 이러한 방식으로, 디바이스 (300) 는 상이한 디바이스 모드들 동안 이미지 캡처를 위해 광학 엘리먼트 (304) 를 제어할 수도 있다.
조정가능한 광학 엘리먼트의 양태들은 또한 이미터들을 위해 사용될 수도 있다. 일부 구현들에서, 디바이스는 능동 심도 감지를 위해 구성될 수도 있다. 예를 들어, 디바이스는 능동 심도 감지를 위한 광을 방출하기 위해 하나 이상의 이미터들을 포함할 수도 있다. 능동 심도 감지는 카메라에 대한 레이저 자동 초점, 스크린 잠금해제를 위한 얼굴 인식, 거리 측정 (range finding), 심도 맵핑 (이를 테면 가상 현실 또는 증강 현실 애플리케이션들에 대한) 등등을 포함하는 동작들을 위해 사용될 수도 있다. 일부 구현들에서, 이미터는 다중 애퍼처들에 의해 공유될 수도 있다. 이러한 방식으로, 이미터로부터의 방출들은 제 1 애퍼처 밖으로 또는 제 2 애퍼처 밖으로 광학 엘리먼트에 의해 지향될 수도 있다. 반대로, 애퍼처는 (이를 테면 상이한 능동 심도 감지 기법들에 대해) 제 1 이미터 및 제 2 이미터에 의해 공유될 수도 있거나, 애퍼처는 능동 심도 감지를 위한 이미터 또는 수신기 (이를 테면 이미지 센서) 에 의해 공유될 수도 있다. 예를 들어, 디바이스는 (구조화된 광 심도 감지 또는 비행 시간 심도 감지를 포함한) 상이한 능동 심도 감지 기법들을 수행하도록 구성될 수도 있거나, 또는 디바이스는 공유된 애퍼처를 사용하여 능동 심도 감지 및 이미지 캡처의 조합을 수행하도록 구성될 수도 있다. 도 10-도 17 은 하나 이상의 능동 심도 감지 기법들을 수행하도록 구성된 디바이스에 대한 예시적인 디바이스 구성들 및 동작들을 도시한다.
도 10 은 능동 심도 감지를 위한 제 1 이미터 (1002) 를 포함하는 예시적인 디바이스 (1000) 의 블록 다이어그램을 도시한다. 예시적인 디바이스 (1000) 의 컴포넌트들 중 적어도 일부는 도 3a 의 예시적인 디바이스 (300) 의 컴포넌트들과 유사할 수도 있다. 예를 들어, 예시적인 디바이스 (1000) 는 (광학 엘리먼트 (1004) 를 제어하도록 구성된 제어기 (1010) 를 포함할 수도 있는) 프로세서 (1005) 를 포함할 수도 있다. 디바이스 (1000) 는 또한 명령들 (1008) 을 저장하는 메모리 (1006), 옵션의 디스플레이 (1014), 하나 이상의 옵션의 I/O 컴포넌트들 (1016), 및 전력 공급부 (1018) 를 포함할 수도 있다. 프로세서 (1005), 메모리 (1006), 제어기 (1010), 디스플레이 (1014), I/O 컴포넌트들 (1016), 및 전력 공급부 (1018) 는 도 3a 에 도시된 프로세서 (305), 메모리 (306), 제어기 (310), 디스플레이 (314), I/O 컴포넌트들 (316), 및 전력 공급부 (318) 와 유사할 수도 있다. 디바이스 (1000) 는 도 3a 의 디바이스 (300) 와 유사하게, 도 10 에 도시되지 않은 다른 컴포넌트들을 또한 포함할 수도 있다. 예를 들어, 디바이스 (1000) 는 하나 이상의 센서들 (이를 테면, 배향 또는 모션 센서들, 포지셔닝 센서들, 온도 센서들 등) 을 포함할 수도 있다.
디바이스 (1000) 는 제 1 광학 경로 (1001) 를 따라 광을 지향시키거나 제 1 광학 경로 (1001) 로부터 광을 수신하는 제 1 애퍼처 (1020) 를 포함할 수도 있다. 디바이스 (1000) 는 또한 제 2 광학 경로 (1024) 를 따라 광을 지향시키거나 제 2 광학 경로 (1024) 로부터 광을 수신하는 제 2 애퍼처 (1022) 를 포함할 수도 있다. 일부 구현들에서, 제 1 이미터 (1002) 는 제 1 애퍼처 (1020) 및 제 2 애퍼처 (1022) 에 의해 공유된다. 예를 들어, 디바이스 (1000) 는 광학 엘리먼트 (1004) 를 포함한다. 광학 엘리먼트 (1004) 는 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있을 때 제 1 이미터 (1002) 로부터의 광을 제 1 광학 경로 (1001) 로 지향시키도록 구성된다. 광학 엘리먼트 (1004) 가 제 OE 모드에 있을 때, 제 1 이미터 (1002) 로부터의 광은 제 2 광학 경로 (1024) 를 따라 전파된다.
일부 구현들에서, 디바이스 (1000) 는 이미지 센서 또는 제 2 이미터 (1003) 를 포함한다. 이미지 센서 또는 제 2 이미터 (1003) 에 의해, 디바이스 (1000) 는 (제 1 이미터 (1002) 를 사용하는) 제 1 디바이스 모드 또는 (이미지 센서 또는 제 2 이미터 (1003) 를 사용하는) 제 2 디바이스 모드에 있도록 구성될 수도 있다. 예를 들어, 디바이스 (1000) 가 이미지 센서를 포함하는 경우, 제 1 디바이스 모드는 제 1 이미터 (1002) 를 사용하는 능동 심도 감지 모드일 수도 있고, 제 2 디바이스 모드는 이미지 센서를 사용하는 이미지 캡처 모드일 수도 있다.
일부 구현들에서, 이미지 센서는 (도 3a 를 참조하여 상기 설명된 바와 같이) 저전력 이미지 센서일 수도 있다. 예를 들어, 저전력 이미지 센서는 디바이스의 상이한 동작 상태들에서 (이를 테면 객체 검출을 위해) 사용될 AO 이미지 센서일 수도 있다. 예를 들어, 디바이스 (1000) 는 얼굴 인식을 위해 (이를 테면 스크린 잠금해제를 위해) 능동 심도 감지를 수행하도록 구성될 수도 있다. 제 1 이미터 (1002) 는 능동 심도 감지를 위한 광의 분포를 방출할 수도 있고, 얼굴 인식은 제 1 디바이스 모드 동안 수행될 수도 있다. 저전력 이미지 센서는 객체 검출을 위해 (이를 테면 가능한 얼굴이 이미지 센서의 시야의 중심으로 이동하는지 여부를 검출하기 위해) 장면의 상이한 영역들의 광 강도들을 측정할 수도 있다. 객체 검출은 제 2 디바이스 모드 동안 수행될 수도 있다. 이러한 방식으로, 단일 애퍼처가 이미지 센서를 사용하는 객체 검출을 위한 제 2 디바이스 모드 동안 사용될 수도 있고 제 1 이미터 (1002) 를 사용하는 능동 심도 감지에 기초한 얼굴 인식을 위한 제 1 디바이스 모드 동안 사용될 수도 있다. 도 3a 를 참조하여 상기 설명된 바와 같이, 사용될 애퍼처는 디바이스 (1000) 의 배향에 기초할 수도 있고, 이는 이미지 센서에 의해 캡처된 광 강도 정보 또는 하나 이상의 센서들로부터의 측정들로부터 결정될 수도 있다.
다른 예에서, 디바이스 (1000) 가 제 2 이미터를 포함하는 경우, 제 1 디바이스 모드는 제 1 이미터 (1002) 를 사용하는 제 1 능동 심도 감지 모드일 수도 있고, 제 2 디바이스 모드는 제 2 이미터 (1003) 를 사용하는 제 2 능동 심도 감지 모드일 수도 있다. 다른 예에서, 디바이스 모드들 중 하나는, 제 2 (또는 제 1) 이미터가 투광 조명기 (flood illuminator) 인 경우 손전등 모드일 수도 있다. 제 1 이미터 (1002) (및 옵션으로, 제 2 이미터 (1003)) 는 결정된 파장의 광 (이를 테면 IR 광 또는 다른 적합한 파장의 광) 을 방출하도록 구성될 수도 있다. 일부 다른 구현들에서, 일 범위의 파장들을 갖는 광이 방출될 수도 있다.
이미지 센서의 경우, 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있을 때, 광학 엘리먼트 (1004) 는 제 2 광학 경로 (1024) 를 따라 전파된 광을 이미지 센서로 지향시킬 수도 있다. 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있을 때, 광학 엘리먼트 (1004) 는 제 1 광학 경로 (1001) 를 따라 전파된 광을 이미지 센서로 지향시킬 수도 있다. 제 2 이미터의 경우, 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있을 때, 광학 엘리먼트 (1004) 는 제 2 이미터로부터의 광을 제 2 광학 경로 (1024) 로 지향시킬 수도 있다. 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있을 때, 광학 엘리먼트 (1004) 는 제 2 이미터로부터의 광을 제 1 광학 경로 (1001) 로 지향시킬 수도 있다.
도시되지는 않았지만, 디바이스 (1000) 는 능동 심도 감지를 위한 하나 이상의 수신기들을 포함할 수도 있다. 일부 구현들에서, 디바이스 (1000) 는 제 1 디바이스 모드 동안 제 1 이미터 (1002) 에 의해 방출된 광의 반사들을 수신하도록 구성된 하나 이상의 수신기들을 포함할 수도 있다. 하나 이상의 수신기들은 또한, 제 2 디바이스 모드 동안 제 2 이미터 (1003) 에 의해 방출된 광의 반사들을 수신하도록 구성될 수도 있다. 예를 들어, 하나 이상의 수신기들은 제 1 이미터 (1002) 에 의해 방출된 IR 광 (또는 다른 적합한 파장) 의 반사들을 캡처하기 위한 IR 이미지 센서 (또는 다른 적합한 이미지 센서) 를 포함할 수도 있다. 일부 다른 구현들에서, 능동 심도 감지를 위한 하나 이상의 수신기들은 디바이스 (1000) 의 외부에 있을 수도 있다. 이러한 방식으로, 디바이스 (1000) 는 능동 심도 감지 시스템을 위한 이미터로서 작용할 수도 있다.
메모리 (1006) 는 (광학 엘리먼트의 포지션을 조정하기 위한 것과 같은) 본 개시에서 설명된 하나 이상의 동작들의 전부 또는 일부를 수행하기 위한 컴퓨터 실행가능 명령들 (1008) 을 저장하는 비일시적 또는 비일시적인 컴퓨터 판독가능 매체일 수도 있다. 능동 심도 감지가 구조화된 광 심도 감지를 포함하는 경우, 메모리 (1006) 는 또한 장면 내의 객체들의 하나 이상의 심도들을 결정하기 위해 능동 심도 감지 수신기로부터의 이미지들을 프로세싱하는데 사용되는 코드워드들의 라이브러리를 포함할 수도 있다.
프로세서 (1005) 는 메모리 (1006) 내에 저장된 (명령들 (1008) 과 같은) 하나 이상의 소프트웨어 프로그램들의 명령들 또는 스크립트들을 실행 가능한 하나 이상의 적합한 프로세서들 (이를 테면 범용 프로세서들) 일 수도 있다. 예를 들어, 프로세서 (1005) 는 애플리케이션 프로세서일 수도 있고 (이를 테면 스크린 잠금해제, 레이저 자동 초점 등을 위한) 능동 심도 감지 애플리케이션을 실행할 수도 있다. 추가적인 또는 대안적인 양태들에서, 프로세서 (1005) 는 본 개시에서 설명된 기능들 또는 동작들을 수행하기 위한 집적 회로들 또는 다른 하드웨어를 포함할 수도 있다.
프로세서 (1005) 는 제어기 (1010) 를 포함한다. 디바이스 (1000) 가 이미지 센서 또는 제 2 이미터 (1003) 를 포함하는 경우, 제어기 (1010) 는 사용될 이미터 (또는 이미지 센서) 를 선택하도록 구성될 수도 있다. 제어기 (1010) 는 또한 (이를 테면 제 1 OE 모드와 제 2 OE 모드 사이의 스위칭과 같은) 광학 엘리먼트 (1004) 를 제어하도록 구성된다. 일부 구현들에서, 제어기 (1010) 는 (광학 엘리먼트 (304) 를 회전 또는 병진 이동시키는 것에 의해서와 같이) 광학 엘리먼트 (304) 의 포지션을 조정하도록 구성될 수도 있다. 예를 들어, 제어기 (1010) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트 (1004) 를 병진 이동시키도록 액추에이터에 명령할 수도 있다. 다른 예에서, 제어기 (1010) 는 OE 모드들 사이에서 스위칭할 때 광학 엘리먼트 (1004) 를 회전시키도록 액추에이터에 명령할 수도 있다.
일부 다른 구현들에서, 제어기 (1010) 는 (전류 또는 다른 자극을 인가하는 것에 의해서와 같이) 광학 엘리먼트 (1004) 의 상태를 조정하도록 구성될 수도 있다. 광학 엘리먼트의 상태는 자극에 기초하여 광학 엘리먼트 (1004) 의 반사도 또는 투명도 (또는 굴절률) 를 포함할 수도 있다. 예를 들어, 제어기 (1010) 는 전류가 제 1 OE 모드에 대해 광학 엘리먼트 (1004) 에 인가되지 않게 하고 전류가 제 2 OE 모드에 대해 광학 엘리먼트 (1004) 에 인가되게 할 수도 있다.
도 3a 의 제어기 (310) 와 유사하게, 제어기 (1010) 는 하나 이상의 배향 센서들로부터의 측정들 또는 이미지 센서로부터의 (이를 테면 디스플레이 (1014) 가 잠겨 있거나 디바이스 (1000) 가 저전력 또는 비활성 상태에 있을 때 저전력 이미지 센서로부터의) 광 강도 측정들로부터 디바이스 (1000) 의 배향을 결정할 수도 있다. OE 모드 또는 디바이스 모드를 결정하는 제어기 (1010) 는 디바이스 (1000) 의 배향에 기초할 수도 있다. 디바이스 모드 또는 OE 모드는 또한 디바이스 상태에 기초할 수도 있다.
제어기 (1010) 는 소프트웨어 (이를 테면 메모리 (1006) 에 저장된 명령들 (1008)), 하드웨어 (이를 테면 하나 이상의 집적 회로들), 또는 양자의 조합에서 구현될 수도 있다. 일부 다른 디바이스 구현들에서, 제어기 (1010) 는 프로세서 (1005) 와 별개의 프로세서 또는 전용 하드웨어에서 구현될 수도 있다. 예를 들어, 이산 프로세서는 제어기 (1010) 및 이미지 신호 프로세서 (1012) 를 포함할 수도 있다. 이산 프로세서는 하나 이상의 주문형 집적 회로들 (ASIC들) 및/또는 하나 이상의 범용 프로세서들을 포함할 수도 있다. 이산 프로세서는 제 1 이미터 (1002) 또는 이미지 센서 또는 제 2 이미터 (1003) 가 사용되는 이미지 캡처, 능동 심도 감지, 컴퓨터 비전 (이를 테면 가상 현실 (VR), 증강 현실 (AR), 또는 입체 비전) 등과 연관된 동작들을 수행하도록 구성될 수도 있다.
예시적인 디바이스 (1000) 에서 프로세서 (1005) 를 통해 서로 커플링되도록 도시되지만, 프로세서 (1005), 메모리 (1006), 이미지 신호 프로세서 (1012), 옵션의 디스플레이 (1014), 및 옵션의 I/O 컴포넌트들 (1016) 은 다양한 배열들로 서로 커플링될 수도 있다. 예를 들어, 프로세서 (1005), 메모리 (1006), 이미지 신호 프로세서 (1012), 옵션의 디스플레이 (1014), 및 옵션의 I/O 컴포넌트들 (1016) 은 하나 이상의 로컬 버스들 (간략화를 위해 도시되지 않음) 을 통해 서로 커플링될 수도 있다.
이미지 신호 프로세서 (1012) 는 이미지 센서 (1003) 로부터의 캡처된 이미지들을 프로세싱하도록 구성될 수도 있다. 일부 구현들에서, 이미지 신호 프로세서 (1012) 는 이미지 프로세싱 파이프라인의 하나 이상의 필터들을 포함하고, 필터들은 프로세서 (1005) 로부터의 명령들에 기초하여 구성될 수도 있다. 이미지 센서 (1003) 로부터의 이미지들이 심도 맵핑을 위한 것이라면, 이미지 신호 프로세서 (1012) 는 하나 이상의 심도들을 결정하기 위해 이미지들을 프로세싱하도록 구성될 수도 있다. 예를 들어, 이미지 신호 프로세서 (1012) 는 구조화된 광 심도 센싱을 위해 이미지에서 코드워드들을 식별하기 위해 코드워드들의 라이브러리를 사용할 수도 있다.
일부 양태들에서, 이미지 신호 프로세서 (1012) 는 메모리로부터의 명령들 (이를 테면 메모리 (1006) 로부터의 명령들 (1008) 또는 이미지 신호 프로세서 (1012) 에 커플링되거나 포함된 별도의 메모리에 저장된 명령들) 을 실행할 수도 있다. 일부 다른 양태들에서, 이미지 신호 프로세서 (1012) 는 본 개시에서 설명된 하나 이상의 동작들을 수행하기 위한 특정 하드웨어를 포함할 수도 있다. 일부 추가 양태들에서, 이미지 신호 프로세서 (1012) 는 특정 하드웨어와 소프트웨어 명령들을 실행하는 능력의 조합을 포함할 수도 있다. 일부 구현들에서, 디바이스 (1000) 가 이미지 센서 (1003) 를 포함하지 않는 경우 (이를 테면 대신에 제 2 이미터 (1003) 를 포함함), 디바이스 (1000) 는 이미지 신호 프로세서 (1012) 를 포함하지 않을 수도 있다.
도 3a 에 도시된 광학 엘리먼트 (304) 와 유사하게, 광학 엘리먼트 (1004) 는 디바이스 (1000) 의 모드들 사이에서 스위칭하도록 일부 방식으로 조정될 수도 있다. 예를 들어, 광학 엘리먼트 (1004) 는 제 1 OE 모드 동안 제 1 광학 경로 (1002) 로부터의 광을 제 1 광학 경로 (1001) 로 지향시키기 위해 (미러와 같은) 반사 표면 또는 (펜타프리즘과 같은) 굴절 엘리먼트를 포함할 수도 있다. 광학 엘리먼트 (1004) 가 제 2 OE 모드로 스위칭할 때, 광학 엘리먼트 (1004) 는 병진 이동될 수도 있거나, 회전될 수도 있거나, 그렇지 않으면 제 1 이미터 (1002) 로부터의 광이 제 1 광학 경로 (1001) 로 지향되지 않도록 조정될 수도 있다.
디바이스 (1000) 가 이미지 센서 또는 제 2 이미터 (1003) 를 포함하는 경우, 광학 엘리먼트 (1004) 는 또한 제 1 OE 모드에서 제 2 광학 경로 (1024) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1003) 로/로부터 지향시키도록 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (1004) 는 제 1 모드 동안 제 2 광학 경로 (1024) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1003) 로/로부터 지향시키기 위해 제 2 반사 표면 또는 제 2 굴절 엘리먼트를 포함할 수도 있다. 제 2 OE 모드로 스위칭할 때, 광학 엘리먼트 (1004) 는 이동될 수도 있거나, 회전될 수도 있거나, 그렇지 않으면 이미지 센서 또는 제 2 이미터 (1003) 로의/로부터의 광이 제 2 광학 경로 (1024) 로부터/로 지향되지 않도록 조정될 수도 있다. 예를 들어, 이미지 센서의 경우, 제 1 광학 경로 (1001) 로부터의 광은 이미지 센서 (1003) 로 지향될 수도 있다. 제 2 이미터의 경우, 제 2 이미터 (1003) 로부터의 광은 제 1 광학 경로 (1001) 로 지향될 수도 있다. 광학 엘리먼트 (1004) 의 예시적인 동작들 및 구성들은 도 14a-도 16f 를 참조하여 더 상세히 설명되고, 도 4a-도 6h 에 도시된 광학 엘리먼트의 동작들 및 구성들과 유사할 수도 있다.
임의의 적합한 능동 심도 감지 시스템 또는 기법이 디바이스 (1000) 에 의해 사용되거나 그에 포함될 수도 있다. 이러한 방식으로, 제 1 이미터 (1002) (및 옵션으로, 제 2 이미터 (1003)) 는 능동 심도 감지 시스템의 타입에 대해 구성된 광을 방출하도록 구성된다. 일부 구현들에서, 제 1 이미터 (1002) 는 (IR 광과 같은) 광의 투광 조명을 방출하도록 구성되고, 객체의 심도는 능동 심도 감지 수신기에서 (이를 테면 IR 이미지 센서에서) 측정된 바와 같은 광의 반사의 강도에 기초할 수도 있다. 일부 다른 구현들에서, 능동 심도 감지 시스템은 광의 알려진 분포를 방출하는 것에 기초할 수도 있다 (이는 구조화된 광 심도 감지 시스템으로서 지칭될 수도 있으며, 도 11 을 참조하여 더 상세히 설명된다). 일부 추가 구현들에서, 능동 심도 감지 시스템은 (도 12 를 참조하여 더 상세히 설명된) 직접 TOF 능동 심도 감지 시스템일 수도 있다. 일부 다른 구현들에서, 능동 심도 감지 시스템은 (도 13 을 참조하여 더 상세히 설명된) 간접 TOF 능동 심도 감지 시스템일 수도 있다. 제 1 이미터 (1002) (및 옵션으로, 제 2 이미터 (1003)) 는 본 명세서에서 설명된 예시적인 능동 심도 감지 시스템들 (또는 다른 적합한 능동 심도 감지 시스템) 중 하나 이상에 대해 구성된 이미터를 포함할 수도 있다.
도 11 은 광의 분포 (이를 테면 분포 (1104)) 를 방출하기 위한 이미터 (1102) 를 포함하는 예시적인 능동 심도 감지 시스템 (1100) 의 도면을 도시한다. 능동 심도 감지 시스템 (1100) (본 명세서에서 또한 구조화된 광 시스템으로서 지칭될 수도 있음) 은 장면 (1106) 의 심도 맵 (도시되지 않음) 을 생성하는데 사용될 수도 있거나, 장면 (1106) 내의 객체들의 심도들에 기초한 하나 이상의 동작들의 수행에 사용될 수도 있다. 예를 들어, 장면 (1106) 은 얼굴을 포함할 수도 있고, 능동 심도 감지 시스템 (1100) 은 스크린 잠금해제 또는 보안 목적들을 위해 얼굴을 식별 또는 인증하기 위해 사용될 수도 있다. 능동 심도 감지 시스템 (1100) 은 이미터 (1102) 및 수신기 (1108) 를 포함할 수도 있다. 이미터 (1102) 는 "송신기", "프로젝터" 등으로서 지칭될 수도 있고, 특정 송신 컴포넌트로 제한되지 않아야 한다. 다음의 개시 전반에 걸쳐, 용어들 프로젝터 및 이미터는 상호교환가능하게 사용될 수도 있다. 수신기 (1108) 는 "검출기", "센서", "감지 엘리먼트". "광검출기" 등으로서 지칭될 수도 있으며, 특정 수신 컴포넌트로 제한되지 않아야 한다.
본 개시가 분포를 광 분포로서 지칭하지만, (무선 주파수 파들, 사운드 파들 등과 같은) 다른 주파수들에서의 임의의 적합한 무선 신호들이 사용될 수도 있으며, 디바이스는 디바이스에서 그러한 무선 신호들을 지향시키도록 구성될 수도 있다. 추가로, 본 개시가 분포를 복수의 광 포인트들을 포함하는 것으로서 지칭하지만, 광은 임의의 적합한 사이즈 및 치수들로 포커싱될 수도 있다. 예를 들어, 광은 라인들, 정사각형들, 또는 임의의 다른 적합한 치수로 프로젝팅될 수도 있다. 또한, 본 개시는 분포를 코드워드 분포로서 지칭할 수도 있으며, 여기서, (광 포인트들의 미리정의된 패치와 같은) 분포의 정의된 부분은 코드워드로서 지칭된다. 광 포인트들의 분포가 알려지면, 분포의 코드워드들이 알려질 수도 있다. 일부 구현들에서, 메모리 (1006) 는 제 1 이미터 (1002) (및 옵션으로, 제 2 이미터 (1003)) 에 의해 방출된 분포에 포함된 코드워드들에 대한 코드워드들의 라이브러리를 포함할 수도 있다. 그 다음, 코드워드들의 라이브러리는 수신기에 의해 수신된 바와 같은 제 1 이미터 (1002) (또는 제 2 이미터 (1003)) 에 의해 방출된 광의 반사들에서 코드워드들을 식별하는데 사용될 수도 있고, 수신기의 센서 상의 코드워드들의 위치는 장면에서 하나 이상의 심도들을 결정하는데 사용될 수도 있다. 다른 구현에서, 이미지 센서 (1003) 는 연관된 이미터에 의해 방출된 코드워드 분포의 반사들을 포함하는 이미지들을 캡처하도록 구성될 수도 있다. 메모리 (1006) 는 연관된 이미터에 대한 코드워드들의 라이브러리를 저장할 수도 있고, 이미지 신호 프로세서 (1012) 는 이미지 센서 (1003) 로부터의 이미지들을 프로세싱하는데 있어서 코드워드들의 라이브러리를 사용할 수도 있다. 분포는 임의의 방식으로 조직화 및 사용될 수도 있으며, 본 개시는 분포의 특정 타입 또는 무선 신호의 타입으로 제한되지 않아야 한다.
이미터 (1102) 는 광 포인트들의 분포 (1104) 를 장면 (1106) 상으로 프로젝팅하도록 구성될 수도 있다. 분포 (1104) 에서의 흑색 원들은 가능한 포인트 위치에 대해 광이 프로젝팅되지 않는 곳을 표시할 수도 있고, 분포 (1104) 에서의 백색 원들은 가능한 포인트 위치에 대해 광이 프로젝팅되는 곳을 표시할 수도 있다. 일부 예시적인 구현들에 있어서, 이미터 (1102) 는 (하나 이상의 레이저들과 같은) 하나 이상의 광 소스들 (1124), 렌즈 (1126), 및 광 변조기 (1128) 를 포함할 수도 있다. 광 소스 (1124) 는 임의의 적합한 광 소스를 포함할 수도 있다. 일부 예시적인 구현들에 있어서, 광 소스 (1124) 는 하나 이상의 분산형 피드백 (DFB) 레이저들을 포함할 수도 있다. 일부 다른 예시적인 구현들에 있어서, 광 소스 (1124) 는 하나 이상의 수직 캐비티 표면-방출 레이저들 (VCSEL들) 을 포함할 수도 있다. 일부 예들에서, 하나 이상의 광 소스들 (1124) 은 VCSEL 어레이, DFB 레이저 어레이, 또는 다른 적합한 레이저 어레이를 포함한다.
이미터 (1102) 는 또한, 방출된 광이 장면 상으로 이미터 (1102) 를 빠져나가는 애퍼처 (1122) 에 커플링될 수도 있다. 일부 구현들에서, 애퍼처 (1122) 는 도 10 의 제 1 애퍼처 (1020) 또는 제 2 애퍼처 (1022) 일 수도 있다. 도 11 에 도시되지는 않았지만, 설명의 간략화를 위해, 이미터 (1102) 는 광을 제 1 애퍼처 (1020) 또는 제 2 애퍼처 (1022) 로 지향시키기 위해 광학 엘리먼트 (1004) 에 커플링될 수도 있다. 일부 구현들에 있어서, 이미터 (1102) 는 하나 이상의 광 소스들 (1124) 로부터의 방출들을 추가적인 방출들로 회절시키기 위해 회절 광학 엘리먼트 (DOE) 를 더 포함할 수도 있다. 일부 양태들에 있어서, (방출의 강도를 조정하기 위한) 광 변조기 (1128) 는 DOE 를 포함할 수도 있다. DOE 는 광 소스 (1124) 로부터의 광의 프로젝션 경로에 위치된 재료를 포함할 수도 있다. DOE 는 광 포인트를 다중의 광 포인트들로 분할하도록 구성될 수도 있다. 예를 들어, DOE 의 재료는 알려진 굴절률을 갖는 반투명 또는 투명 폴리머일 수도 있다. DOE 의 표면은 광이 DOE 를 통과할 때 광 포인트가 다중의 광 포인트들로 분할되도록 피크 (peak) 들 및 밸리 (valley) 들 (DOE 의 심도를 가변시킴) 을 포함할 수도 있다. 예를 들어, DOE 는 하나 이상의 레이저들로부터 하나 이상의 광 포인트들을 수신하고, 하나 이상의 레이저들에 의해 방출된 것보다 더 많은 수의 광 포인트들을 갖는 의도된 분포를 프로젝팅하도록 구성될 수도 있다.
광 포인트들의 분포 (1104) 를 장면 (1106) 상으로 프로젝팅함에 있어서, 이미터 (1102) 는 광 소스 (1124) 로부터 렌즈 (1126) 를 통해 (및/또는 DOE 또는 광 변조기 (1128) 를 통해) 그리고 장면 (1106) 상으로 하나 이상의 광 포인트들을 출력할 수도 있다. 일부 구현들에서, 이미터 (1102) 는 수신기 (1108) 와 동일한 레퍼런스 평면 상에 포지셔닝될 수도 있고, 이미터 (1102) 및 수신기 (1108) 는 베이스라인 (1112) 이라 불리는 거리만큼 분리될 수도 있다. 일부 다른 구현들에서, 이미터 (1102) 및 수신기 (1108) 는 상이한 레퍼런스 평면들 상에 포지셔닝될 수도 있다. 이미터 (1102) 는 제 1 레퍼런스 평면 상에 포지셔닝될 수도 있고, 수신기 (1108) 는 제 2 레퍼런스 평면 상에 포지셔닝될 수도 있다. 제 1 레퍼런스 평면 및 제 2 레퍼런스 평면은 동일한 레퍼런스 평면일 수도 있거나, 서로 분리된 평행한 레퍼런스 평면들일 수도 있거나, 비-제로 각도로 교차하는 레퍼런스 평면들일 수도 있다. 레퍼런스 평면들 상의 교차의 각도 및 위치는 서로에 관련한 레퍼런스 평면들의 위치들 및 배향들에 기초한다. 레퍼런스 평면들은 디바이스의 공통 측면과 연관되도록 배향될 수도 있다. 예를 들어, 양자의 레퍼런스 평면들 (평행하든 교차하든) 은 디바이스의 공통 측면으로부터 (이를 테면 디바이스의 후방 측면, 디바이스의 전방 측면, 디바이스의 상부 측면 등으로부터) 광을 수신하도록 배향될 수도 있다.
디바이스 생산에서, 제조 시의 사소한 차이들 또는 에러들은 제 1 레퍼런스 평면 또는 제 2 레퍼런스 평면의 배향 또는 포지셔닝에서의 차이들을 야기할 수도 있다. 일 예에서, 이미터 (1102) 또는 수신기 (1108) 를 인쇄 회로 보드 (PCB) 상에 장착하는 것은 이미터 (1102) 또는 수신기 (1108) 의 배향이 PCB 의 배향과 상이하다는 (허용오차 내의) 에러를 포함할 수도 있다. 다른 예에서, 이미터 (1102) 및 수신기 (1108) 를 포함하는 상이한 PCB들의 배향들은 (PCB들이 동일한 레퍼런스 평면을 따르거나 서로 평행하도록 설계될 때 배향들의 약간의 변화와 같이) 설명된 것과 약간 상이할 수도 있다. 디바이스의 제 1 레퍼런스 평면 및 제 2 레퍼런스 평면은 디바이스를 생산하는데 있어서 제조, 교정 등의 결과로서 레퍼런스 평면들의 배향들의 변화들에 관계 없이 디바이스 설계를 통해 의도된 것과 동일한 레퍼런스 평면, 평행한 레퍼런스 평면들, 또는 교차하는 레퍼런스 평면들인 것으로서 지칭될 수도 있다.
일부 예시적인 구현들에서, 이미터 (1102) 에 의해 프로젝팅된 광은 IR 광일 수도 있다. IR 광은 이미터 (1102) 로부터의 예시적인 방출로서 제공된다. 다음의 설명에서, 광의 다른 적합한 파장들이 사용될 수도 있다. 예를 들어, 자외선 광 또는 IR 광 파장 범위 외부의 가시광 스펙트럼의 부분들에서의 광이 이미터 (1102) 에 의해 출력될 수도 있다. 대안적으로, 마이크로파들, 무선 주파수 신호들, 및 다른 적합한 신호들과 같은, 상이한 파장들을 갖는 다른 신호들이 사용될 수도 있다.
장면 (1106) 은 구조화된 광 시스템과 (이를 테면 이미터 (1102) 및 수신기 (1108) 와) 상이한 심도들에서의 객체들을 포함할 수도 있다. 예를 들어, 장면 (1106) 내의 객체들 (1106A 및 1106B) 은 상이한 심도들에 있을 수도 있다. 수신기 (1108) 는, 장면 (1106) 으로부터, 광 포인트들의 송신된 분포 (1104) 의 반사들 (1110) 을 수신하도록 구성될 수도 있다. 반사들 (1110) 을 수신하기 위해, 수신기 (1108) 는 이미지를 캡처할 수도 있다. 이미지를 캡처할 때, 수신기 (1108) 는 반사들 (1110) 뿐만 아니라 (i) 상이한 심도들에서의 장면 (1106) 의 다른 부분들로부터의 광 포인트들의 분포 (1104) 의 다른 반사들 및 (ii) 주변 광을 수신할 수도 있다. 노이즈가 또한, 캡처된 이미지에 존재할 수도 있다. 능동 심도 감지 시스템 (1100) 은 캡처된 이미지에서 분포 (1104) 의 반사들을 격리하기 위해 주변 광 간섭 및 노이즈를 필터링 또는 감소시키도록 구성될 수도 있다.
일부 예시적인 구현들에 있어서, 수신기 (1108) 는 수신된 광 (오브젝트들 (1106A 및 1106B) 로부터의 반사들 (1110) 을 포함) 을 수신기 (1108) 의 센서 (1132) 상으로 포커싱 또는 지향시키기 위한 렌즈 (1130) 를 포함할 수도 있다. 수신기 (1108) 는 또한 애퍼처 (1120) 를 포함하거나 그에 커플링될 수도 있다. 일부 구현들에서, 애퍼처 (1120) 는 도 10 의 제 1 애퍼처 (1020) 또는 제 2 애퍼처 (1022) 일 수도 있다. 반사들 (1110) 만이 수신되는 예를 가정하면, 객체들 (1106A 및 1106B) 의 심도들은 베이스라인 (1112), 반사들 (1110) 에서의 (코드워드들에서와 같은) 광 분포 (1104) 의 변위 및 왜곡, 및 반사들 (1110) 의 강도들에 기초하여 결정될 수도 있다. 예를 들어, 위치 (1116) 로부터 중심 (1114) 까지의 센서 (1132) 를 따른 거리 (1134) 는 장면 (1106) 내의 객체 (1106B) 의 심도를 결정함에 있어서 사용될 수도 있다. 유사하게, 위치 (1118) 로부터 중심 (1114) 까지의 센서 (1132) 를 따른 거리 (1136) 는 장면 (1106) 내의 객체 (1106A) 의 심도를 결정함에 있어서 사용될 수도 있다. 센서 (1132) 를 따른 거리는 센서 (1132) 의 픽셀들의 수 또는 (밀리미터와 같은) 거리의 관점에서 측정될 수도 있다.
일부 예시적인 구현들에 있어서, 센서 (1132) (이를 테면 IR 이미지 센서) 는 이미지를 캡처하기 위한 (애벌런치 포토다이오드들과 같은) 포토다이오드들의 어레이를 포함할 수도 있다. 이미지를 캡처하기 위해, 어레이에서의 각각의 포토다이오드는 포토다이오드에 충돌하는 광을 캡처할 수도 있고, 광의 강도를 표시하는 값 (캡처 값) 을 제공할 수도 있다. 따라서, 이미지는 포토다이오드들의 어레이에 의해 제공된 캡처 값들일 수도 있다.
포토다이오드들의 어레이를 포함하는 센서 (1132) 에 더하여 또는 그에 대한 대안으로, 센서 (1132) 는 상보형 금속 산화물 반도체 (CMOS) 센서를 포함할 수도 있다. 광감성 CMOS 센서에 의해 이미지를 캡처하기 위해, 센서의 각각의 픽셀은 픽셀에 충돌하는 광을 캡처할 수도 있고, 광의 강도를 표시하는 값을 제공할 수도 있다. 일부 예시적인 구현들에 있어서, 포토다이오드들의 어레이는 CMOS 센서에 커플링될 수도 있다. 이러한 방식으로, 포토다이오드들의 어레이에 의해 생성된 전기 임펄스들은 캡처 값들을 제공하기 위해 CMOS 센서의 대응하는 픽셀들을 트리거링할 수도 있다.
센서 (1132) 는 분포 (1104) 에서의 가능한 광 포인트들의 수와 동일한 적어도 다수의 픽셀들을 포함할 수도 있다. 예를 들어, 포토다이오드들의 어레이 또는 CMOS 센서는, 분포 (1104) 에서의 가능한 광 포인트들의 수에 각각 대응하는 다수의 포토다이오드들 또는 다수의 픽셀들을 포함할 수도 있다. 센서 (1132) 는 논리적으로, 코드워드의 비트의 사이즈에 대응하는 픽셀들 또는 포토다이오드들의 그룹들 (이를 테면 4x4 그룹들) 로 분할될 수도 있다. 픽셀들 또는 포토다이오드들의 그룹은 또한 비트로서 지칭될 수도 있고, 센서 (1132) 의 비트로부터의 캡처된 이미지의 부분이 또한 비트로서 지칭될 수도 있다. 일부 예시적인 구현들에 있어서, 센서 (1132) 는 분포 (1104) 와 동일한 수의 비트들을 포함할 수도 있다.
광 소스 (1124) 가 (예를 들어, 940 nm 의 파장에서의 NIR 광과 같은) IR 광을 송신하면, 센서 (1132) 는 NIR 광의 반사들을 수신하기 위한 IR 센서일 수도 있다. 센서 (1132) 는 또한 투광 조명기 (예시되지 않음) 를 사용하여 이미지를 캡처하도록 구성될 수도 있다. 일부 구현들에서, 센서 (1132) 는 도 10 의 이미지 센서 (1003), 도 3a 의 이미지 센서 (302), 또는 도 3a 의 이미지 센서 (303) 의 예일 수도 있다. 간략화를 위해 도시되지는 않았지만, 광학 엘리먼트 (1004) 는 애퍼처 (1120) 로부터의 광을 센서 (1132) 로 지향시키도록 구성될 수도 있다. 예를 들어, 센서 (1132) 가 이미지 센서 (1003) 의 예시적인 구현일 때, 광학 엘리먼트 (1004) 는 상이한 OE 모드들에서 제 1 애퍼처 (1020) 로부터의 또는 제 2 애퍼처 (1022) 로부터의 광을 센서 (1132) 로 지향시킬 수도 있다. 이러한 방식으로, 센서 (1132) 는 다중 애퍼처들에 의해 공유될 수도 있다.
예시된 바와 같이, (객체 (1106B) 로부터의 반사들 (1110) 에 대응하는) 거리 (1134) 는 (객체 (1106A) 로부터의 반사들 (1110) 에 대응하는) 거리 (1136) 보다 작다. 베이스라인 (1112) 및 거리들 (1134 및 1136) 에 기초한 삼각측량을 사용하여, 장면 (1106) 내의 객체들 (1106A 및 1106B) 의 상이한 심도들이 장면 (1106) 의 심도 맵을 생성함에 있어서 결정될 수도 있다. 심도들을 결정하는 것은 반사들 (1110) 에서의 분포 (1104) 의 변위 또는 왜곡 (이를 테면 코드워드의 왜곡) 을 결정하는 것을 더 포함할 수도 있다.
다수의 별도의 컴포넌트들이 도 11 에 예시되지만, 그 컴포넌트들 중 하나 이상은 함께 구현되거나 추가적인 기능을 포함할 수도 있다. 모든 설명된 컴포넌트들은 능동 심도 감지 시스템 (1100) 에 대해 요구되지 않을 수도 있거나, 컴포넌트들의 기능은 별도의 컴포넌트들로 분리될 수도 있다. 예시되지 않은 추가적인 컴포넌트들 (이를 테면 광학 엘리먼트 및 추가적인 애퍼처들) 이 존재할 수도 있다. 예를 들어, 수신기 (1108) 는 파장들의 결정된 범위를 갖는 신호들이 센서 (1132) 상으로 통과하게 하도록 (따라서, 그 범위 밖의 파장을 갖는 신호들을 필터링하도록) 대역통과 필터를 포함할 수도 있다. 이러한 방식으로, (주변 광과 같은) 일부 부수적인 신호들은 센서 (1132) 에 의한 캡처들을 간섭하는 것이 방지될 수도 있다. 대역통과 필터의 범위는 이미터 (1102) 에 대한 송신 파장에 중심을 둘 수도 있다. 예를 들어, 이미터 (1102) 가 940 nm 의 파장을 갖는 NIR 광을 송신하도록 구성되면, 수신기 (1108) 는 예를 들어, 920 nm 내지 960 nm 의 범위 내의 파장들을 갖는 NIR 광을 허용하도록 구성된 대역통과 필터를 포함할 수도 있다. 따라서, 도 11 을 참조하여 설명된 예들은 예시적인 목적들을 위한 것이며, 본 개시는 능동 심도 감지를 위한 예시적인 구조화된 광 시스템 (1100) 으로 제한되지 않는다.
다른 능동 심도 감지 시스템들은 TOF 능동 심도 감지 시스템들을 포함할 수도 있다. 예시적인 TOF 능동 심도 감지 시스템은 (이를 테면 도 12 에 도시된) 직접 TOF 능동 심도 감지 시스템을 포함한다. 직접 TOF 시스템은 펄스들을 방출하고, 펄스들을 감지하고, 펄스를 방출하는 것과 펄스의 반사를 감지하는 것 사이의 시간 차이를 결정한다. 직접 TOF 시스템은 그 시간 차이를 사용하여 라운드 트립 시간, 및 따라서 TOF 시스템으로부터의 객체의 심도를 결정한다. 다른 예시적인 TOF 능동 심도 감지 시스템은 (이를 테면 도 13 에 도시된) 간접 TOF 능동 심도 감지 시스템을 포함한다. 간접 TOF 시스템은 또한 FMCW (Frequency Modulated Continuous Wave) TOF 시스템으로서 지칭될 수도 있다. 간접 TOF 시스템은 주기적 신호 (이를 테면 연속파 사인곡선 신호 또는 주기적 펄스 광) 를 방출하고, 신호의 반사를 감지하고, 방출된 신호와 신호의 감지된 반사 사이의 위상 차이를 결정한다. 간접 TOF 시스템은 그 위상 차이를 사용하여 TOF 시스템으로부터의 객체의 심도를 결정한다.
도 12 는 이미터 (1202) 를 포함하는 직접 TOF 능동 심도 감지 시스템 (1200) 의 도면을 도시한다. 이미터 (1202) 는 도 10 에 도시된 제 1 이미터 (1002) 의 예시적인 구현일 수도 있다. 이미터 (1202) 는 표면 (1206) 을 포함하는 장면을 향해 신호들 (이를 테면 광 (1204)) 을 방출하도록 구성될 수도 있다. 방출된 광 (1204) 이 표면 (1206) 으로 지향되는 것으로 예시되지만, 이미터 (1202) 에 의한 방출의 필드는 표면 (1206) 의 사이즈를 넘어 확장될 수도 있다. 예를 들어, TOF 시스템 이미터는 이미터의 방출의 필드를 정의하는 고정된 초점 거리 렌즈를 가질 수도 있다. 이미터 (1202) 는 제 1 이미터 (1002) 또는 제 2 이미터 (1003) 의 예시적인 구현일 수도 있다. 간략화를 위해 도시되지는 않았지만, 광학 엘리먼트는 이미터 (1202) 로부터의 광을 다중 애퍼처들 (이를 테면 도 10 의 애퍼처들 (1020 및 1022) 중 하나로 지향시키도록 구성될 수도 있다.
방출된 광 (1204) 은 알려진 시간 인터벌들 (이를 테면 정의된 주기) 에 광 펄스들 (1214) 을 포함한다. 수신기 (1208) 는 방출된 광 (1204) 의 반사들 (1212) 을 감지하기 위한 이미지 센서 (1210) 를 포함한다. 반사들 (1212) 은 반사된 광 펄스들 (1216) 을 포함하고, 라운드 트립 시간 (1222) 은 방출된 광 펄스들 (1214) 의 타이밍 (1218) 을 반사된 광 펄스들 (1216) 의 타이밍 (1220) 과 비교함으로써 광에 대해 결정된다. TOF 시스템 (1200) 으로부터의 표면 (1206) 의 거리는 라운드 트립 시간에 방출들의 속도 (이를 테면 광 방출들에 대한 광의 속도) 를 승산한 값의 절반인 것으로 계산될 수도 있다. 심도는 하기 식 (1) 을 사용하여 결정될 수도 있으며:
Figure pct00001
여기서 D 는 직접 TOF 시스템 (1200) 으로부터의 표면 (1206) 의 심도이고, c 는 (이미터 (1202) 가 광 (1204) 을 방출하는 것에 기초한) 광의 속도이다.
이미지 센서 (1210) 는 반사들을 감지하고 수신된 광의 강도들에 대응하는 전류들 또는 전압들의 어레이를 생성하기 위한 포토다이오드들 및 컴포넌트들의 어레이를 포함할 수도 있다. 어레이에서의 각각의 엔트리는 픽셀 또는 셀로서 지칭될 수도 있다. 픽셀로부터의 전압들 (또는 전류들) 은 방출된 광 (1204) 의 반사들 (1212) 을 검출하기 위해 시간에 걸쳐 비교될 수도 있다. 예를 들어, 픽셀로부터의 신호는 임계치 (노이즈 또는 주변 광 간섭에 대응함) 와 비교될 수도 있고, 임계치보다 큰 피크들은 이미지 센서 (1210) 에 의해 감지된 반사된 광 펄스들 (1216) 로서 식별될 수도 있다. 임계치는 주변 광, 노이즈, 또는 다른 간섭에 기초할 수도 있다. 예를 들어, 주변 광의 양은 (방출된 광 (1204) 없이) 존재할 수도 있고, 임계치는 (이를 테면 이미터 (1202) 가 방출하고 있지 않을 때 이미지 센서 (1210) 에 의해 측정된) 주변 광의 크기에 기초할 수도 있다. TOF 시스템 (1200) 의 유효 범위의 상한은 반사들을 감지하기 전의 신호의 노이즈 또는 열화가, 신호 대 노이즈비 (SNR) 가 이미지 센서 (1210) 에 대해 너무 커서 반사된 광 펄스들 (1216) 을 정확하게 감지할 수 없게 하는 거리일 수도 있다. 간섭을 감소시키기 위해 (및 따라서 범위를 증가시키거나 신호 대 노이즈비를 개선하기 위해), 수신기 (1208) 는 방출된 광 (1204) 의 파장에 중심을 둔 파장 범위 외부의 유입 광을 필터링하기 위해 이미지 센서 (1210) 앞에 대역통과 필터를 포함할 수도 있다.
일부 구현들에서, 직접 TOF 시스템 (1200) 의 이미지 센서 (1210) 의 각각의 픽셀은 반사들에서 펄스들을 식별하고 펄스 광 반사들의 도달 시간을 분해하는 것을 가능하게 하기 위해 그의 감도 및 반응도로 인해 단일 광자 애벌런치 다이오드 (SPAD) 를 포함할 수도 있다. 각각의 SPAD 는 이미지 센서 (1210) 가 이미지들을 캡처할 수 있게 하기 위해 이미지 센서 (1210) 의 하나 이상의 메모리 셀들, 시간-상관 시간-디지털 컨버터 (TDC), 및 판독 회로에 커플링될 수도 있다. 직접 TOF 시스템에 대한 대안은 간접 TOF 시스템이다. 이미지 센서 (1210) 는 도 10 의 이미지 센서 (1003) 또는 도 3a 의 이미지 센서 (302 또는 303) 의 예시적인 구현일 수도 있다. 간략화를 위해 도시되지는 않았지만, 광학 엘리먼트는 제 1 애퍼처 또는 제 2 애퍼처 (이를 테면 도 10 의 애퍼처들 (1020 및 1022)) 로부터의 광을 이미지 센서 (1210) 로 지향시키도록 구성될 수도 있다.
도 13 은 이미터 (1302) 를 포함하는 간접 TOF 능동 심도 감지 시스템 (1300) 의 도면을 도시한다. 이미터 (1302) 는 도 10 에 도시된 제 1 이미터 (1002) 의 예시적인 구현일 수도 있다. 이미터 (1302) 는 표면 (1306) 을 포함하는 장면을 향해 신호들 (이를 테면 광 (1304)) 을 방출하도록 구성될 수도 있다. 간략화를 위해 도시되지는 않았지만, 광학 엘리먼트는 OE 모드에 기초하여 이미터 (1302) 로부터의 광을 하나 또는 다중 애퍼처들로 지향시킬 수도 있다. 방출된 광 (1304) 이 표면 (1306) 으로 지향되는 것으로 예시되지만, 이미터 (1302) 에 의한 방출의 필드는 표면 (1306) 의 사이즈를 넘어 확장될 수도 있다. 예를 들어, TOF 시스템 이미터는 송신기에 대한 방출의 필드를 정의하는 고정된 초점 거리 렌즈를 가질 수도 있다.
방출된 광 (1304) 은 정의된 주파수의 사인곡선 신호 (1314) (또는 다른 적합한 주기적 신호) 를 포함한다. 수신기 (1308) 는 방출된 광 (1304) 의 반사들 (1312) 을 감지하기 위한 이미지 센서 (1310) 를 포함한다. 이미지 센서 (1310) 는 도 10 의 이미지 센서 (1003) 또는 도 3a 의 이미지 센서 (302 또는 303) 의 예시적인 구현일 수도 있다. 간략화를 위해 도시되지는 않았지만, 광학 엘리먼트는 제 1 애퍼처 또는 제 2 애퍼처 (이를 테면 도 10 의 애퍼처들 (1020 및 1022)) 로부터의 광을 이미지 센서 (1310) 로 지향시키도록 구성될 수도 있다. 반사들 (1312) 은 반사된 사인곡선 신호 (1316) 를 포함한다. (방출된 사인곡선 타이밍 (1318) 및 반사된 사인곡선 타이밍 (1320) 에 의해 예시된 바와 같은) 방출된 사인곡선 신호 (1314) 와 반사된 사인곡선 신호 (1316) 사이의 위상 차이 (1322) 가 결정된다. 위상 차이 (1322) 는 라운드 트립 시간을 표시할 수도 있고 따라서 간접 TOF 시스템 (1300) 으로부터 표면 (1306) 의 거리를 결정하는데 사용될 수도 있다. 사인곡선 신호 (1314) 를 생성하기 위해, TOF 시스템 (1300) 은 캐리어 신호를 변조하여 사인곡선 파를 생성하도록 구성될 수도 있다. 예를 들어, 940 나노미터 파장 광은 사인곡선 신호 (1314) 를 생성하도록 변조될 수도 있다. 파의 주파수는 본 명세서에서 변조 주파수로서 지칭될 수도 있다. TOF 와 위상 차이의 관계를 비교함에 있어서, TOF 는 하기 식 (2) 에 나타낸 바와 같이, 측정된 위상 차이 (PD) 및 변조 주파수 (fmod) 의 관점에서 정의될 수도 있다:
Figure pct00002
간략화된 예에서, PD 가 π 이고 fmod 가 대략 250 킬로헤르츠 (kHz) 이면, TOF 는 2 마이크로초 (1 나누기 500 kHz) 이다. 다시 식 (1) 을 참조하면, TOF 가 2 마이크로초와 동일한 것에 기초한 심도 (D) 는 대략 300 미터이다.
도 13 은 방출된 광 (1304) 을 (사인곡선 (1314) 에 의해 예시된) 사인곡선 파형을 갖는 것으로 예시하지만, 임의의 적합한 파형이 사용될 수도 있다. 예를 들어, TOF 시스템 (1300) 은 주기적 패턴으로 방출된 광의 강도를 단계적으로 증가 및 감소시키도록 구성될 수도 있다. 이러한 방식으로, 방출된 광의 파형은 (주기적 펄스 신호에 대한 것과 같은) 구형파에 근사할 수도 있다. 톱니 파형 등을 포함하여, 다른 파형들이 사용될 수도 있다. 본 명세서에서 사용된 바와 같이, 사인곡선 파형 또는 파는 (근사화된 구형파를 포함하는) 신호들에 대한 임의의 적합한 파형을 지칭할 수도 있다.
일부 구현들에서, 간접 TOF 시스템 (1300) 은 이미지 센서 (1310) 의 각각의 픽셀 (본 명세서에서 복조 픽셀 또는 록인 (lock-in) 픽셀로서 지칭됨) 에 대한 복조 회로를 포함할 수도 있다. 각각의 복조 픽셀은 복조 광검출기를 포함할 수도 있고, 어레이의 광다이오드에서 수신된 반사된 사인곡선 신호와 방출된 사인곡선 신호의 위상 또는 위상 차이에 대응하는 하나 이상의 전압들을 생성 및 저장하도록 구성될 수도 있다. 위상 차이는 하나 이상의 저장된 전압들로부터 결정될 수도 있다. 예를 들어, 복조 픽셀은 전압 신호를 (이를 테면 전압 신호로서 픽셀 전압 (이를 테면 레일 전압) 을 전송할지 낮은 전압을 전송할지를 결정하기 위해 광다이오드로부터의 전류를 사용하여) 생성할 수도 있다. 예시적인 이미지 센서 (1310) 는, 복조 픽셀들을 사용하여, 이미지 센서 (1310) 에 의한 신호 캡처를 위한 전압들의 어레이를 생성할 수도 있다. 전압들의 어레이는 각각의 픽셀에 대한 PD 를 생성하도록 프로세싱될 수도 있고, PD들은 장면 내의 객체들의 하나 이상의 심도들을 생성하도록 프로세싱된다.
일부 예시적인 능동 심도 감지 시스템들이 본 개시에서 설명되지만, 임의의 적합한 능동 심도 감지 시스템이 사용될 수도 있다. 도 10 의 디바이스 (1000) 의 제 1 이미터 (1002) (또는 제 2 이미터 (1003)) 는 능동 심도 감지를 위한 이미터의 특정 타입 또는 능동 심도 감지의 특정 타입 또는 구성으로 제한되지 않는다. 이로써, 디바이스 (1000) 의 디바이스 모드는 능동 심도 감지의 임의의 적합한 구성에 대해 구성될 수도 있다.
본 명세서에 언급된 바와 같이, 광학 엘리먼트 (1004) 는 능동 심도 감지를 위한 2 개 이상의 OE 모드들 사이에서 스위칭하도록 구성될 수도 있다. 예를 들어, 제 1 애퍼처 (1020) 가 디바이스 (1000) 의 제 1 측면 상에 포지셔닝되고 제 2 애퍼처 (1022) 가 디바이스 (1000) 의 제 2 측면 상에 포지셔닝되는 경우, 제 1 OE 모드는 디바이스 (1000) 의 제 1 측면으로부터 방출된 광에 대한 능동 심도 감지와 연관될 수도 있고, 제 2 OE 모드는 디바이스 (1000) 의 제 2 측면으로부터 방출된 광에 대한 능동 심도 감지와 연관될 수도 있다. 또한 본 명세서에 언급된 바와 같이, 디바이스 (1000) 는 2 개 이상의 디바이스 모드들 사이에서 스위칭하도록 구성될 수도 있다. 예를 들어, 디바이스 (1000) 가 제 2 이미터 (1003) 를 포함하는 경우, 제 1 디바이스 모드는 제 1 이미터 (1002) 를 사용하는 능동 심도 감지의 제 1 타입 또는 구성과 연관될 수도 있고, 제 2 디바이스 모드는 제 2 이미터 (1003) 를 사용하는 능동 심도 감지의 제 2 타입 또는 구성과 연관될 수도 있다. 예를 들어, 제 1 이미터 (1002) 는 광의 제 1 분포를 방출하도록 구성될 수도 있고, 제 2 이미터 (1003) 는 광의 제 2 분포 (이를 테면 광의 제 1 분포와 상이한 코드워드들의 분포 또는 사이즈를 갖는 광의 분포) 를 방출하도록 구성될 수도 있다. 다른 예에서, 제 1 이미터 (1002) 는 구조화된 광 심도 감지를 위한 광의 분포를 방출하도록 구성될 수도 있고, 제 2 이미터 (1003) 는 TOF 심도 감지를 위한 펄스 광을 방출하도록 구성될 수도 있다. 일부 다른 구현들에서, 디바이스 (1000) 는 하나 이상의 능동 심도 감지 모드들과 하나 이상의 이미지 캡처 모드들 사이에서 스위칭하도록 구성될 수도 있다. 예를 들어, 디바이스 (1000) 가 이미지 센서 (1003) 를 포함하는 경우, 디바이스 (1000) 는 제 1 이미터 (1002) 를 사용하는 능동 심도 감지 모드와 이미지 센서 (1003) 를 사용하는 이미지 캡처 모드 사이에서 스위칭하도록 구성될 수도 있다. 디바이스 (1000) 가 이미지 센서 또는 제 2 이미터 (1003) 를 포함하는 경우, 광학 엘리먼트 (1004) 의 OE 모드는 디바이스 (1000) 의 디바이스 모드에 의존할 수도 있다. 일부 구현들에서, 디바이스 (1000) 는 이미지 센서 또는 제 2 이미터 (1003) 를 포함하지 않을 수도 있고, 디바이스 (1000) 는 상이한 디바이스 모드들을 갖지 않을 수도 있다. 광학 엘리먼트 (1004) 의 OE 모드는 능동 심도 감지를 위한 방출의 의도된 방향과 같은, 다른 기준에 의존할 수도 있다.
OE 모드들 사이에서 스위칭함에 있어서, 디바이스 (1000) (이를 테면 제어기 (1010)) 는 광학 엘리먼트 (1004) 를 조정할 수도 있다. 예를 들어, 디바이스 (1000) 는 (도 14a 및 도 14b 에 도시된 바와 같이 그리고 도 4a 및 도 4b 에 도시된 것과 유사하게) 광학 엘리먼트 (1004) 를 회전시키거나, (도 15a 및 도 15b 에 도시된 것과 같이 그리고 도 5a 및 도 5b 에 도시된 것과 유사하게) 광학 엘리먼트 (1004) 의 포지션을 조정하거나, (도 16a 및 도 16b 에 도시된 것과 같이 그리고 도 6a 및 도 6b 에 도시된 것과 유사하게) 광학 엘리먼트에 인가된 자극 (이를 테면 전류) 에 기초하여 광학 엘리먼트 (1004) 의 상태를 조정할 수도 있다. 도 16c-도 16f 에 도시된 광학 엘리먼트 및 광학 엘리먼트를 조정하는 것은 도 6e-도 6h 에 도시된 것과 유사할 수도 있다.
도 14a 는 디바이스 (1400) 가 제 1 모드에 있을 때 제 1 광학 경로 (1406) 와 연관된 제 1 이미터 (1402) 를 예시하는 예시적인 디바이스 (1400) 부분의 단면도를 도시한다. 광학 엘리먼트 (1414) 는 제 1 OE 모드 동안 제 1 이미터 (1402) 로부터의 광을 제 1 광학 경로 (1406) 로 (그리고 제 1 애퍼처 (1410) 상으로) 지향시키도록 구성된다. 광학 엘리먼트 (1414) 는 도 4a 및 도 4b 의 광학 엘리먼트 (414) 와 유사하다. 광은 제 1 광학 경로 (1406) 를 따라 전파될 수도 있고, 광은 제 1 애퍼처 (1410) 또는 광학 엘리먼트 (1414) 로부터 나올 수도 있다. 하나 이상의 컴포넌트들 (1418) 은 제 1 광학 경로 (1406) 와 광학 엘리먼트 (1414) 사이에서 광을 지향시킬 수도 있다. 디바이스 (1400) 는 제 2 광학 경로 (1048) 를 따라 광을 지향시키거나 디바이스 (1400) 에서 제 2 광학 경로 (1024) 를 따라 전파된 광을 수신하도록 구성된 제 2 애퍼처 (1412) 를 포함한다. 애퍼처들 (1410 및 1412) 은 디바이스 (1400) 의 상이한 측면들 상에 도시되지만, 애퍼처들 (1410 및 1412) 은 디바이스 (1400) 의 동일한 측면 상에 있을 수도 있다. 광학 엘리먼트 (1414) (및 임의의 컴포넌트들 (1418)) 는 제 1 디바이스 모드 동안 제 1 광학 경로 (1406) 와 제 1 이미터 (1402) 사이에서 광을 지향시키도록 임의의 적합한 배향 및 구성일 수도 있다. 제 1 애퍼처 (1410) 가 (도 4c 와 유사하게) 도 14a 에 예시된 디바이스 (1400) 의 좌측에 포지셔닝되는 경우, 컴포넌트 (1418) 는 광학 엘리먼트 (1414) 로부터 수신된 광을 제 1 애퍼처 (1410) 로 (또는 그 반대로) 지향시킬 수도 있다. 제 2 OE 모드에서, 제 1 이미터 (1402) 는 (도 14b 에 도시된 바와 같이) 제 2 애퍼처 (1412) 를 통해 디바이스 (1400) 의 외부로 방출되는 광을 방출할 수도 있다. 예시된 예시적인 디바이스 (1400) 에서, 광학 엘리먼트 (1414) 는 제 1 이미터 (1402) 로부터의 광이 제 2 애퍼처 (1412) 에 도달하는 것을 차단할 수도 있다 (대신에 그 광은 제 1 애퍼처 (1410) 에 반사된다).
디바이스 (1400) 가 이미지 센서 (1404) 를 포함하는 경우, 광학 엘리먼트 (1414) 는 제 1 OE 모드에서 제 2 광학 경로 (1408) 로부터의 광을 이미지 센서 (1404) 로 지향시키도록 구성될 수도 있다. 디바이스 (1400) 가 제 2 이미터 (1404) 를 포함하는 경우, 광학 엘리먼트 (1414) 는 이미터 (1404) 로부터의 광을 제 2 광학 경로 (1408) 로 지향시키도록 구성될 수도 있다.
액추에이터 (1416) 는 OE 모드들 사이에서 스위칭하기 위해 광학 엘리먼트 (1414) 를 회전시킬 수도 있다. 액추에이터 (1416) 는 도 4a 및 도 4b 의 액추에이터 (416) 와 유사할 수도 있다. 예를 들어, 액추에이터 (1416) 는 제 1 배향과 제 2 배향 사이에서 광학 엘리먼트 (1414) 를 회전시키기 위해 회전 모터 또는 다른 수단을 포함하거나 그에 커플링될 수도 있고, 액추에이터 (1416) 는 제어기 (이를 테면 도 10 의 제어기 (1010)) 에 의해 제어된다. 도 4a 및 도 4b 를 설명함에 있어서 위에서 언급된 바와 같이, 도 14a 및 도 14b (및 이후의 도면들) 의 예들은 제 1 광학 경로와 관련한 광학 엘리먼트의 배향을 참조할 수도 있다. 도 14a 및 도 14b (및 이후의 도면들) 의 예들은 제 1 광학 경로와 관련한 광학 엘리먼트의 배향을 참조할 수도 있지만, 광학 엘리먼트의 배향은 디바이스 내의 임의의 적합한 디바이스 컴포넌트 또는 적합한 레퍼런스와 관련될 수도 있다. 예를 들어, 배향은 이미지 센서의 배향과 관련될 수도 있거나, 이미터의 배향과 관련될 수도 있거나, 광학 경로로부터 광학 엘리먼트에 접근하는 광의 방향과 관련될 수도 있거나 등등이다.
도 14b 는 제 2 OE 모드에 대해 제 1 광학 경로 (1406) 와 관련하여 예시적인 제 2 배향으로 광학 엘리먼트 (1414) 를 갖는 도 14a 의 디바이스 (1400) 부분의 단면도를 도시한다. 제 2 OE 모드에서, 디바이스 (1400) 는 제 1 이미터 (1402) 로부터의 광을 제 2 광학 경로 (1408) 로 지향시키도록 구성된다. 디바이스 (1400) 가 이미지 센서 또는 제 2 이미터 (1404) 를 포함하는 경우, 디바이스 (1400) 는 또한 제 2 디바이스 모드 동안 제 1 광학 경로 (1406) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1404) 로/로부터 지향시키도록 구성된다.
광학 엘리먼트 (414) (도 4a 및 도 4b) 에 대해 위에서 언급된 바와 같이, 광학 엘리먼트 (1414) 의 반사도 및 투명도 또는 굴절률은 광학 엘리먼트 (1414) 에서 수신된 광의 입사각에 기초할 수도 있다. 이러한 방식으로, 광학 엘리먼트 (1414) 의 반사도 및 투명도는 제 1 광학 경로 (1406) 와 관련한 광학 엘리먼트 (1414) 의 배향에 기초할 수도 있다. 광학 엘리먼트 (1414) 는 광학 엘리먼트 (414) 에 대해 위에서 설명된 바와 같은 재료들로 구성될 수도 있다.
애퍼처들 (1410 및 1412) 이 디바이스의 상이한 측면들 상에 있는 경우, OE 모드는 디바이스 (1400) 로부터 광을 방출하기 위한 (또는 이미지 센서 (1404) 에 대한 이미지를 캡처하기 위한) 의도된 방향에 기초할 수도 있다. 애퍼처들 (1410 및 1412) 이 디바이스의 동일한 측면 상에 있는 경우, 이미지 센서 (1404) 를 포함하는 제 2 디바이스 모드에 대해, 이미지 센서 (1404) 는 (도 3c, 도 3d 및 도 3f 를 참조하여 위에서 설명된 바와 같이) 더 넓은 FOV 이미징 또는 3 차원 이미징을 위해 사용될 수도 있다. 제 1 디바이스 모드 (또는 제 2 이미터 (1404) 를 포함하는 제 2 디바이스 모드) 에 대해, 디바이스의 동일한 측면 상의 애퍼처들은 (더 넓은 FOV 이미징을 참조하여 본 명세서에서 설명된 바와 같이) 이미터로부터의 광을 장면의 상이한 부분들 상으로 지향시키도록 배향 및 구성될 수도 있다. 이러한 방식으로, 이미터로부터의 광은 단 하나의 애퍼처가 사용되는 경우보다 더 큰 장면의 부분 상으로 방출될 수도 있다.
다시 도 4e 및 도 4f 를 참조하면, 이미지 캡처 시스템의 다중 인스턴스들이 디바이스에 공존할 수도 있다. 일부 구현들에서, 능동 심도 감지 시스템의 다중 인스턴스들이 디바이스 (1000) 에 존재할 수도 있다. 추가로, 또는 대안으로, 능동 심도 감지 시스템의 하나 이상의 인스턴스들은 디바이스 내의 이미지 캡처 시스템의 하나 이상의 인스턴스들과 함께 존재할 수도 있다. 예를 들어, 다시 도 3g 를 참조하면, 제 1 애퍼처 (364) 및 제 2 애퍼처 (366) 는 (도 14a 에 예시된 것과 유사한) 능동 심도 감지 시스템과 연관될 수도 있다. 제 3 애퍼처 (368) 및 제 4 애퍼처 (370) 는 (도 14a 에 예시된 것과 유사한) 제 2 능동 심도 감지 시스템 또는 (도 4a 에 예시된 것과 유사한) 이미지 캡처 시스템과 연관될 수도 있다. 2 개의 이미터들 (1002 및 1003) 이 제 1 애퍼처 (364) 및 제 2 애퍼처 (366) 를 공유하고, 2 개의 이미지 센서들 (302 및 303) 이 제 3 애퍼처 (368) 및 제 4 애퍼처 (370) 를 공유하는 경우, 제 1 이미지 센서는 제 1 이미터와 연관될 수도 있고, 제 2 이미지 센서는 제 2 이미터와 연관될 수도 있다. 이러한 방식으로, 디바이스는 다중 능동 심도 감지 시스템들을 포함할 수도 있다. 다른 예에서, 디바이스는 하나의 이미터 및 3 개의 이미지 센서들을 포함할 수도 있다 (이미터 및 하나의 이미지 센서는 2 개의 애퍼처들을 공유함). 도 14c 및 도 14d 는 이미지 센서들 및 이미터들의 조합의 예를 도시하지만, 임의의 조합, 수, 및 구성의 이미터들, 이미지 센서들, 광학 엘리먼트들 등이 디바이스에 포함될 수도 있다.
도 14c 는 제 1 광학 경로 (1446) 와 연관된 제 1 이미터 (1442) 및 제 3 광학 경로 (1466) 와 연관된 제 1 이미지 센서 (1462) 를 예시하는 예시적인 디바이스 (1440) 부분의 단면도를 도시한다. 광학 엘리먼트 (1454) 는 광학 엘리먼트 (1454) 가 제 1 배향에 있는 것에 기초하여 제 1 이미터 (1442) 로부터의 광을 제 1 광학 경로 (1446) 로 지향시킬 수도 있다. 광학 엘리먼트 (1474) 는 광학 엘리먼트 (1474) 가 제 1 배향에 있는 것에 기초하여 제 3 광학 경로 (1466) 로부터의 광을 제 1 이미지 센서 (1462) 로 지향시킬 수도 있다. 일부 구현들에서, 광학 엘리먼트 (1454) 는 또한 광학 엘리먼트 (1454) 가 제 1 배향에 있는 것에 기초하여 제 2 이미터 (1444) 로부터의 광을 제 2 광학 경로 (1448) 로 지향시킬 수도 있고, 광학 엘리먼트 (1474) 는 광학 엘리먼트 (1474) 가 제 1 배향에 있는 것에 기초하여 제 3 광학 경로 (1466) 로부터의 광을 제 2 이미지 센서 (1464) 로 지향시킬 수도 있다. 도 14c 를 도 4a 및 도 14a 와 비교하면, 컴포넌트들 (458 및 478) 은 컴포넌트들 (418 또는 1418) 과 유사할 수도 있고, 광학 엘리먼트들 (454 및 474) 은 광학 엘리먼트들 (414 또는 1414) 과 유사할 수도 있고, 액추에이터들 (456 및 476) 은 액추에이터들 (416 또는 1416) 과 유사할 수도 있다.
제 1 이미지 센서 (1462) 가 제 1 이미터 (1442) 에 대한 수신기인 경우, 능동 심도 감지는 이미터/센서 쌍을 사용하여 수행될 수도 있다. 제 2 이미지 센서 (1464) 가 제 2 이미터 (1444) 에 대한 수신기인 경우, 능동 심도 감지는 또한 이미터/센서 쌍을 사용하여 수행될 수도 있다. 2 개의 쌍들은 상이한 타입들의 능동 심도 감지 또는 동일한 타입의 능동 심도 감지의 상이한 구성을 위해 구성될 수도 있다. 도 14c 및 도 14d 는 애퍼처들을 공유하는 이미터들 및 애퍼처들을 공유하는 이미지 센서들을 도시하지만, 제 1 이미터 (1442) 는 제 2 이미지 센서 (1464) 와 애퍼처들을 공유할 수도 있고, 제 2 이미터 (1444) 는 제 1 이미지 센서 (1462) 와 애퍼처들을 공유할 수도 있다. 예를 들어, 도 14c 에서, 제 2 이미터 (1444) 및 제 2 이미지 센서 (1464) 는 스위칭될 수도 있다. 일부 다른 구현들에서, 애퍼처들은 임의의 측면 상에 배열될 수도 있다. 예를 들어, 애퍼처들 (1450 및 1452) 은 애퍼처 (1472) 를 갖는 디바이스의 측면 상에 배열될 수도 있고, 애퍼처 (1470) 는 디바이스 (1440) 의 상이한 측면 상에 있을 수도 있다. 이러한 방식으로, 능동 심도 감지는 디바이스로부터 (이를 테면 스마트폰의 후방으로부터) 특정 방향으로 요구될 수도 있지만, 이미지 캡처는 디바이스의 다중 측면들로부터 (이를 테면 또한 셀피 이미징을 위한 스마트폰의 전방으로부터) 요구될 수도 있다. 능동 심도 감지를 위한 애퍼처들이 광이 장면의 더 넓은 부분 상에서 방출되게 하도록 구성되면 (그리고 이미지 센서는 장면의 더 넓은 FOV 에 대한 이미지들을 캡처하도록 구성됨), 광학 엘리먼트 (1454) 에 대한 OE 모드는 (본 명세서에서 설명된 더 넓은 FOV 이미징을 위한 동작들과 유사하게) 장면의 더 넓은 부분에 대한 심도 감지를 허용하도록 교번할 수도 있다. 몇몇 예시적인 구성들이 설명되지만, 컴포넌트들의 임의의 적합한 구성이 사용될 수도 있다.
도 14d 는 제 1 광학 경로 (1446) 와 연관된 제 2 이미터 (1444) 및 제 3 광학 경로 (1466) 와 연관된 제 3 이미지 센서 (1464) 를 예시하는 예시적인 디바이스 (1440) 부분의 단면도를 도시한다. (제 2 배향의) 광학 엘리먼트 (1454) 는 제 2 이미터 (1444) 로부터의 광이 제 1 애퍼처 (1450) 에 도달하게 할 수도 있고, (제 2 배향의) 광학 엘리먼트 (1474) 는 제 3 광학 경로 (1466) 로부터의 광이 제 2 이미지 센서 (1464) 에 도달하게 할 수도 있다. 광학 엘리먼트 (1454) 는 또한 제 1 이미터 (1442) 로부터의 광이 제 2 애퍼처 (1452) 에 도달하게 할 수도 있고, 광학 엘리먼트 (1474) 는 제 4 광학 경로 (1468) 로부터의 광이 제 1 이미지 센서 (1462) 에 도달하게 할 수도 있다. 도 14d 를 도 4b 및 도 14b 와 비교하면, 컴포넌트들 (1458 및 1478) 은 컴포넌트들 (418 또는 1418) 과 유사할 수도 있고, 광학 엘리먼트들 (1454 및 1474) 은 광학 엘리먼트들 (414 또는 1414) 과 유사할 수도 있고, 액추에이터들 (1456 및 1476) 은 액추에이터들 (416 또는 1416) 과 유사할 수도 있다. 일부 구현들에서, 하나의 광학 엘리먼트는 이미터들 또는 이미지 센서 (1442, 1444, 1462, 및 1464) 에 의해 공유될 수도 있다. 예를 들어, 이미터들 및 이미지 센서들은 하나의 더 큰 광학 엘리먼트가 도 14c 또는 도 14d 에 도시된 바와 같이 광을 지향시키도록 회전될 수도 있도록 포지셔닝될 수도 있다. 일부 다른 구현들에서, 광학 엘리먼트들 (1454 및 1474) 은 서로 상이한 OE 모드들을 갖거나 상이한 시간들에 모드들을 스위칭할 수도 있다. 일부 추가 구현들에서, 광학 엘리먼트 (1454 및 1474) 는 조정되도록 이동되거나 자극이 인가될 수도 있다. 다른 구성들이 존재할 수도 있고, 본 개시는 상기 예들로 제한되지 않는다.
도 15a-도 16f 는 광학 엘리먼트와 연관된 이미지 센서 또는 제 2 이미터를 포함하는 디바이스를 도시한다. 그러나, 설명들은 본 개시의 양태들을 설명하는데 있어서 명확성을 위한 것이다. 도 10, 도 14a, 및 도 14b 에 도시된 바와 같이, 디바이스는 광학 엘리먼트와 연관된 이미지 센서 또는 제 2 이미터를 포함하도록 요구되지 않는다. 이로써, 본 개시 (도 15a-도 16f 에 도시된 예들을 포함함) 는 광학 엘리먼트와 연관된 이미지 센서 또는 제 2 이미터를 요구하는 것으로 제한되지 않는다.
도 15a 는 제 1 광학 경로 (1506) 와 연관된 제 1 이미터 (1502) 를 예시하는 예시적인 디바이스 (1500) 부분의 단면도를 도시한다. 광학 엘리먼트 (1514) 는 제 1 OE 모드에서 제 1 이미터 (1502) 로부터의 광을 제 1 광학 경로 (1506) 로 지향시키도록 구성된다. 디바이스 (1500) 가 이미지 센서 또는 제 2 이미터 (1504) 를 포함하는 경우, 광학 엘리먼트 (1514) 는 또한 광학 경로 (1508) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1504) 로/로부터 지향시키도록 구성된다. 제 1 광학 경로 (1506) 를 따른 광은 제 1 애퍼처 (1510) 를 통해 디바이스 (1500) 를 빠져나갈 수도 있다. 디바이스 (1500) 가 이미지 센서 (1504) 를 포함하는 경우, 제 2 광학 경로 (1508) 를 따른 광은 제 2 애퍼처 (1512) 를 통해 디바이스에 들어갈 수도 있다. 디바이스 (1500) 가 제 2 이미터 (1504) 를 포함하는 경우, 제 2 광학 경로 (1508) 를 따른 제 2 이미터 (1504) 로부터의 광은 제 2 애퍼처 (1512) 를 통해 디바이스 (1500) 를 빠져나갈 수도 있다. 도 14a 및 도 14b 와 유사하게, 디바이스 (1500) 는 제 1 광학 경로 (1506) (또는 제 2 광학 경로 (1508)) 와 광학 엘리먼트 (1514) 사이에서 광을 지향시키도록 구성된 하나 이상의 컴포넌트들 (1540) 을 포함할 수도 있다.
광학 엘리먼트 (1514) 는 도 5a 및 도 5b 에 도시된 광학 엘리먼트 (514) 와 유사하게 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (1514) 는 일면 미러 또는 양면 미러, 프리즘, 또는 광을 지향시키기 위한 다른 적합한 엘리먼트를 포함할 수도 있다. 액추에이터 (1516) 는 제 1 포지션 (도 15a 에 예시된 바와 같음) 과 제 2 포지션 (도 15b 에 예시된 바와 같음) 사이에서 광학 엘리먼트 (1514) 를 이동시키도록 구성될 수도 있다. 액추에이터 (1516) 는 디바이스 제어기 (이를 테면 도 10 의 제어기 (1010)) 에 의해 제어될 수도 있다. 액추에이터 (1516) 는 도 5a 및 도 5b 의 액추에이터 (516) 와 유사하게 구성될 수도 있다.
도 15b 는 광학 엘리먼트 (1514) 가 제 2 OE 모드에서 디바이스 (1500) 내의 예시적인 제 2 포지션에 있는 도 15a 의 디바이스 (1500) 부분의 단면도를 도시한다. 디바이스 (1500) 는 제 1 이미터 (1502) 로부터의 광을 제 2 광학 경로 (1508) 로 지향시키도록 구성된다. 디바이스 (1500) 가 이미지 센서 또는 제 2 이미터 (1504) 를 포함하는 경우, 디바이스 (1500) 는 또한 이미지 센서 또는 제 2 이미터 (1504) 와 제 1 광학 경로 (1506) 사이에서 광을 지향시키도록 구성된다. 도시되지는 않았지만, 애퍼처들 (1510 및 1512) 은 (도 5c 및 도 5d 에 예시된 것과 유사하게) 디바이스의 동일한 측면 상에 있을 수도 있다.
도 16a 는 제 1 OE 모드에 대해 제 1 광학 경로 (1606) 와 연관된 제 1 이미터 (1602) 를 예시하는 예시적인 디바이스 (1600) 부분의 단면도를 도시한다. 제 1 이미터 (1602) 는 전류 (또는 다른 적합한 자극) 가 광학 엘리먼트 (1614) 에 인가되는지 여부에 기초하여 제 1 광학 경로 (1606) 와 연관된다. 도 16b 는 제 2 OE 모드에 대해 제 2 광학 경로 (1608) 와 연관된 제 1 이미터 (1602) 를 예시하는 예시적인 디바이스 (1600) 부분의 단면도를 도시한다. 제 1 이미터 (1602) 는 전류 (또는 다른 적합한 자극) 가 광학 엘리먼트 (1614) 에 인가되는지 여부에 기초하여 제 2 광학 경로 (1608) 와 연관된다. 광학 엘리먼트 (1614) 의 투명도, 반사도, 또는 굴절률은 광학 엘리먼트 (1614) 에 인가된 자극의 레벨 (이를 테면 인가된 전류의 양) 에 기초할 수도 있다. 예를 들어, 광학 엘리먼트 (1614) 는 전류가 인가될 때 투명할 수도 있고, 광학 엘리먼트 (1614) 는 전류가 인가되지 않을 때 반사성일 수도 있다. 광학 엘리먼트 (1614) 는 도 6a 및 도 6b 에 도시된 광학 엘리먼트 (614) 와 유사하게 구성될 수도 있다. 예를 들어, 광학 엘리먼트 (614) 및 광학 엘리먼트 (1614) 의 재료 조성은 동일할 수도 있다. 이러한 방식으로, 광학 엘리먼트 (1614) 는 광학 엘리먼트 (1614) 에 전류를 인가하기 위한 전기 콘택들 (1616) 을 포함하거나 그에 커플링될 수도 있다. 전기 콘택들 (1616) 은 광학 엘리먼트 (1614) 의 상태를 제어하기 위해 디바이스 제어기 (이를 테면 도 10 의 제어기 (1010)) 에 의해 제어될 수도 있다. 광학 엘리먼트 (1614) 의 제어는 도 6a 및 도 6b 에 도시된 광학 엘리먼트 (614) 의 제어와 유사할 수도 있다. 예를 들어, 제어기 (1010) 는 OE 모드들 사이에서 스위칭하기 위해 전류가 전기 콘택들 (1616) 에 인가되거나 그로부터 제거되게 하도록 스위치를 제어할 수도 있다. 도시되지는 않았지만, 애퍼처들 (1610 및 1612) 은 (도 6c 및 도 6D 에 예시된 것과 유사하게) 디바이스의 동일한 측면 상에 있을 수도 있다.
도 16c-도 16f 는 OE 모드들 사이에서 스위칭하기 위한 광학 엘리먼트의 다른 예시적인 구현들을 도시한다. 도 16c 는 제 1 광학 경로 (1656) 와 연관된 제 1 이미터 (1652) 를 예시하는 예시적인 디바이스 (1650) 부분의 단면도를 도시한다. 제 1 애퍼처 (1660) 는 제 1 광학 경로 (1656) 를 따라 광을 지향시키도록 구성되고, 제 2 애퍼처 (1662) 는 제 2 광학 경로 (1658) 를 따라 광을 지향시키도록 구성된다. 제 1 OE 모드에 대해 제 1 배향의 광학 엘리먼트 (1664) 는 제 1 이미터 (1652) 로부터의 광을 제 1 광학 경로 (1656) 로 지향시킨다. 광학 엘리먼트 (1664) 는 또한 제 1 OE 모드에 대해 제 2 광학 경로 (1658) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1654) 로/로부터 지향시킬 수도 있다. 광학 엘리먼트 (1664) 는 도 6e 의 광학 엘리먼트 (664) 와 유사할 수도 있다.
제 1 OE 모드와 제 2 OE 모드 사이에서 스위칭함에 있어서, 액추에이터 (1666) 는 광학 엘리먼트 (1664) 를 제 2 배향으로 회전시킬 수도 있다. 액추에이터 (1666) 는, 액추에이터 (1666) 가 (광학 엘리먼트의 일단을 향한 축 대신에) 광학 엘리먼트 (1664) 의 중심을 향한 축을 따라 광학 엘리먼트 (1664) 를 회전시키는 것을 제외하고는, 도 14a 의 액추에이터 (1416) 와 유사할 수도 있다. 도 16d 는 제 2 광학 경로 (1658) 와 연관된 제 1 이미터 (1652) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 제 2 OE 모드에 대해 제 2 배향의 광학 엘리먼트 (1664) 는 제 1 이미터 (1652) 로부터의 광을 제 2 광학 경로 (1658) 로 지향시키도록 구성된다. 광학 엘리먼트 (664) 는 또한 제 1 광학 경로 (1656) 로부터의/로의 광을 이미지 센서 또는 제 2 이미터 (1654) 로/로부터 지향시키도록 구성된다. 일부 다른 구현들에서, 광학 엘리먼트는 OE 모드들 사이에서 스위칭하도록 이동되거나 회전되는 프리즘 또는 다른 객체일 수도 있다.
일부 구현들에서, 광학 엘리먼트를 회전시키는 대신에, 광학 엘리먼트는 광학 엘리먼트에 인가된 자극에 기초하여 광을 지향시키도록 구성된 프리즘 또는 다른 구조일 수도 있다. 도 16e 는 제 1 광학 경로 (1676) 와 연관된 제 1 이미터 (1672) 를 예시하는 예시적인 디바이스 부분의 단면도를 도시한다. 디바이스 (1670) 는 사용되는 광학 엘리먼트의 타입 외에는, 도 16c 의 디바이스 (1650) 와 유사할 수도 있다. 예를 들어, 광학 엘리먼트 (1686) 는 도 6g 의 광학 엘리먼트 (686) 와 유사할 수도 있다. 이러한 방식으로, 제 1 이미터 (1672) 는 제 1 이미터 (1652) 와 유사할 수도 있고, 이미지 센서 또는 제 2 이미터 (1674) 는 이미지 센서 또는 제 2 이미터 (1654) 와 유사할 수도 있고, 제 1 광학 경로 (1676) 는 제 1 광학 경로 (1656) 와 유사할 수도 있고, 제 2 광학 경로 (1678) 는 제 2 광학 경로 (1658) 와 유사할 수도 있고, 제 1 애퍼처 (1680) 는 제 1 애퍼처 (1660) 와 유사할 수도 있고, 제 2 애퍼처 (1682) 는 제 2 애퍼처 (1662) 와 유사할 수도 있다.
광학 엘리먼트 (1686) 가 전기 콘택들 (1688) 및 전기 콘택들 (1690) 을 통한 전류의 인가에 기초하여 상태들을 변경하는 것으로 예시되지만, 임의의 적합한 자극이 사용될 수도 있고 임의의 방식으로 인가될 수도 있다. 일부 구현들에서, 광학 엘리먼트 (1686) 의 제 1 부분은 전류가 전기 콘택들 (1688) 을 통해 인가될 때 제 1 배향을 갖는 제 1 분자들의 세트를 포함하고, 광학 엘리먼트 (1686) 의 제 2 부분은 전류가 전기 콘택들 (1690) 을 통해 인가될 때 제 1 배향을 갖는 제 2 분자들의 세트를 포함한다. 2 개의 전기 콘택들이 예시되지만, 임의의 적합한 수가 사용될 수도 있다 (이를 테면 하나 이상의 전기 콘택들). 제 1 분자들의 세트 및 제 2 분자들의 세트가 제 1 배향에 있을 때, 광학 엘리먼트 (1686) 는 도 16e 에 도시된 바와 같이 (그리고 도 6g 에 도시된 바와 유사하게) 광을 지향시키도록 구성될 수도 있다. 제 1 분자들의 세트 및 제 2 분자들의 세트는 또한 전류가 인가되지 않을 때 제 2 배향을 가질 수도 있다. 이러한 방식으로, 제 1 분자들의 세트 및 제 2 분자들의 세트가 제 2 배향에 있을 때, 광학 엘리먼트 (1686) 는 도 16f 에 도시된 바와 같이 (그리고 도 6h 에 도시된 바와 유사하게) 광을 지향시키도록 구성될 수도 있다. 도 16f 는 제 2 광학 경로 (1678) 와 연관된 제 1 이미터 (1672) 를 예시하는 도 16e 의 예시적인 디바이스 부분의 단면도를 도시한다.
일부 다른 구현들에서, 광학 엘리먼트 (1686) 는 함께 결합된 2 개 이상의 광학 엘리먼트들의 별개의 컴포넌트들을 포함할 수도 있다. 예를 들어, 광학 엘리먼트 (1686) 의 제 1 부분은 도 16a 의 광학 엘리먼트 (1614) 와 유사할 수도 있다. 제 1 부분은 전기 콘택들 (1688) 을 통해 인가된 전류에 기초하여 제어될 수도 있다. 광학 엘리먼트 (1686) 의 제 2 부분은 90 도 만큼 회전된 광학 엘리먼트 (1614) 와 유사할 수도 있다. 제 2 부분은 전기 콘택들 (1690) 을 통해 인가된 전류에 기초하여 제어될 수도 있다. 이러한 방식으로, OE 모드들 사이의 스위칭은 제 1 OE 모드에 대해 콘택들 (1690) 을 통해 전류를 제공하지 않는 것과 콘택들 (1688) 을 통해 전류를 제공하는 것 그리고 제 2 OE 모드에 대해 콘택들 (1690) 을 통해 전류를 제공하는 것과 콘택들 (1688) 을 통해 전류를 제공하지 않는 것 사이에서 스위칭하는 것을 포함할 수도 있다.
도 14a-도 16f 에 도시된 바와 같이, 능동 심도 감지 모드를 위한 광학 엘리먼트에 의해 광을 지향시키는 것은 (도 3a-도 6h 에 도시된 것과 같이) 이미지 캡처 모드에 대해 광학 엘리먼트에 의해 광을 지향시키는 것과 유사할 수도 있다. 이러한 방식으로, 이미지 캡처 모드와 관련하여 본 명세서에서 설명된 본 개시의 양태들은 (도 10 및 도 14a-도 16h 에 도시된 것과 같이) 능동 심도 감지 모드와 관련하여 적용될 수도 있다.
도 17a 는 능동 심도 감지를 위한 예시적인 동작 (1700) 을 도시하는 예시적인 플로우 차트를 도시한다. 제 1 이미터, 제 1 애퍼처, 및 제 2 애퍼처는 도 10 및 도 14a-도 16b 에 도시된 바와 같을 수도 있다 (또는 달리 설명된 바와 같을 수도 있음). 도 17a 는 명확성을 위해 도 10 에 도시된 디바이스 (1000) 에 의해 수행되는 것으로 설명된다. 그러나, 임의의 적합한 디바이스 또는 디바이스 구성이 예시적인 동작 (1700) 을 수행하는데 사용될 수도 있다.
1702 에서, 디바이스 (1000) 의 제 1 이미터 (1002) 는 능동 심도 감지를 위한 제 1 광을 방출한다. 예를 들어, 제 1 이미터 (1002) 는 광의 제 1 분포를 방출할 수도 있거나, 주기적 펄스 광을 방출할 수도 있거나, (투광 조명을 위한 것과 같은) 확산 광을 방출할 수도 있다. 결정 블록 (1704) 에서, 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있으면, 동작 (1700) 은 단계 (1706) 로 진행한다. 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있지 않으면 (이를 테면 제 2 OE 모드에 있음), 동작 (1700) 은 단계 (1710) 로 진행한다. 단계 (1706) 를 참조하면, 광학 엘리먼트 (1004) 는 제 1 이미터 (1002) 에 의해 방출된 제 1 광을 제 1 광학 경로 (1001) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (1004) 는 광학 엘리먼트 (1004) 의 배향, 광학 엘리먼트 (1004) 의 포지션, 광학 엘리먼트 (1004) 의 상태 (광학 엘리먼트 (1004) 에 전류가 인가되는 것에 기초함) 등에 기초하여 제 1 이미터 (1002) 로부터의 광을 제 1 광학 경로 (1001) 로 반사 또는 굴절시킬 수도 있다. 1708 에서, 제 1 애퍼처 (1020) 는 제 1 광학 경로 (1001) 로부터의 제 1 광을 디바이스 (1000) 의 외부로 지향시킨다.
단계 (1710) 를 참조하면, 디바이스 (1000) 는 제 1 이미터 (1002) 로부터의 제 1 광을 제 2 광학 경로 (1024) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (1004) 는 제 1 이미터 (1002) 로부터의 광이 제 2 광학 경로 (1024) (및 제 2 애퍼처 (1022)) 에 도달하는 것을 차단하지 않도록 하는 포지션에 있을 수도 있다. 다른 예에서, 광학 엘리먼트 (1004) 는 제 1 이미터 (1002) 로부터의 광이 광학 엘리먼트 (1004) 를 통해 그리고 제 2 광학 경로 (1024) 로 통과하게 하기 위해 자극 (이를 테면 전류가 인가되거나 인가되지 않음) 에 기초한 상태에 있거나 배향을 가질 수도 있다. 1712 에서, 제 2 애퍼처 (1022) 는 제 2 광학 경로 (1024) 로부터의 제 1 광을 디바이스 (1000) 의 외부로 지향시킨다. 본 명세서에 언급된 바와 같이, 제어기 (1010) 는 예시적인 동작 (1700) 에 대해 OE 모드들 사이에서 스위칭하기 위해 광학 엘리먼트 (1004) 를 조정하도록 구성될 수도 있다.
디바이스 (1000) 가 이미지 센서 또는 제 2 이미터 (1003) 를 포함하는 경우, 디바이스 (1000) 는 또한 상이한 디바이스 모드들을 가질 수도 있다. 도 17b 는 상이한 디바이스 모드들에 대해 구성된 디바이스 (1000) 에 의한 능동 심도 감지를 위한 예시적인 동작 (1720) 을 도시하는 예시적인 플로우 차트를 도시한다. 결정 블록 (1722) 에서, 디바이스 (1000) 가 제 1 디바이스 모드에 있으면, 동작은 도 17a 의 단계 (1702) 로 진행할 수도 있다. 이러한 방식으로, 제 1 이미터 (1002) 는 능동 심도 감지를 위해 사용될 것이다. 디바이스 (1000) 가 제 1 디바이스 모드에 있지 않으면 (이를 테면 디바이스 (1000) 는 제 2 디바이스 모드에 있음), 동작은 결정 블록 (1724) 으로 진행할 수도 있다. 디바이스 (1000) 가 제 2 디바이스 모드에 있으면, 이미지 센서는 이미지 캡처를 위해 사용될 수도 있거나, 또는 제 2 이미터는 능동 심도 감지를 위해 사용될 수도 있다.
결정 블록 (1724) 에서, 디바이스 (1000) 가 제 2 이미터를 포함하는 경우, 동작은 1726 으로 진행할 수도 있다. 디바이스 (1000) 가 이미지 센서를 포함하는 경우, 동작은 1730 으로 진행할 수도 있다. 다시 1726 을 참조하면, 제 2 이미터는 디바이스 (1000) 가 제 2 디바이스 모드에 있을 때 제 2 광을 방출한다. 예를 들어, 제 1 디바이스 모드가 제 1 이미터를 사용하는 제 1 능동 심도 감지 모드일 수도 있고, 제 2 디바이스 모드는 제 2 이미터를 사용하는 제 2 능동 심도 감지 모드일 수도 있다. 2 개의 능동 심도 감지 모드들은 (구조화된 광 대 비행 시간과 같은) 상이한 타입들의 능동 심도 감지 기법들에 대한 것일 수도 있다. 다른 예에서, 2 개의 능동 심도 감지 모드들은 구조화된 광 심도 감지를 위한 광의 상이한 분포들을 방출하거나 비행 시간 심도 감지를 위한 광의 상이한 펄스 주파수들 또는 상이한 파장들을 방출하기 위한 것일 수도 있다. 예를 들어, 제 1 이미터는 1000 nm 이하의 파장 광을 방출하도록 구성될 수도 있고, 제 2 이미터는 1000 nm 초과의 파장을 갖는 광을 방출하도록 구성될 수도 있다. 이러한 방식으로, 비행 시간 심도 감지는 애플리케이션에 기초하여 상이한 주파수 광을 사용할 수도 있다.
1728 에서, 디바이스 (1000) 는 OE 모드에 기초하여 제 2 이미터 (1003) 로부터의 제 2 광을 제 1 광학 경로 (1001) 또는 제 2 광학 경로 (1024) 로 지향시킨다. 예를 들어, 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있으면, 광학 엘리먼트 (1004) 는 제 2 광을 제 2 애퍼처 (1022) 를 향해 지향시킬 수도 있다. 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있으면, 광학 엘리먼트 (1004) 는 제 2 광을 제 1 애퍼처 (1020) 를 향해 지향시킬 수도 있다. 제 1 OE 모드는 광학 엘리먼트 (1004) 의 제 1 배향, 광학 엘리먼트 (1004) 의 제 1 포지션, 또는 광학 엘리먼트 (1004) 의 제 1 상태와 연관될 수도 있다. 제 2 OE 모드는 광학 엘리먼트 (1004) 의 제 2 배향, 광학 엘리먼트 (1004) 의 제 2 포지션, 또는 광학 엘리먼트 (1004) 의 제 2 상태와 연관될 수도 있다. 일부 구현들에서, 디바이스 (1000) 는 어느 OE 모드가 사용될지에 기초하여 광학 엘리먼트 (1004) 를 조정하도록 구성된다. 예를 들어, 제어기 (1010) 는 배향들 사이에서 회전시키거나, 포지션들 사이에서 이동시키거나, 광학 엘리먼트 (1004) 에 자극을 인가하도록 액추에이터에 명령하거나 그렇지 않으면 광학 엘리먼트 (1004) 를 제어할 수도 있다.
다시 1724 를 참조하면, 디바이스 (1000) 가 이미지 센서를 포함하는 경우, 디바이스 (1000) 는 OE 모드에 기초하여 제 1 광학 경로 또는 제 2 광학 경로를 따라 전파된 광을 이미지 센서로 지향시킬 수도 있다 (1730). 예를 들어, 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있으면, 광학 엘리먼트 (1004) 는 (제 2 광학 경로 (1024) 를 따라 전파되는) 제 2 애퍼처 (1022) 로부터의 광을 이미지 센서 (1003) 를 향해 지향시킬 수도 있다. 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있으면, 광학 엘리먼트 (1004) 는 (제 1 광학 경로 (1001) 를 따라 전파되는) 제 1 애퍼처 (1020) 로부터의 광을 이미지 센서 (1003) 를 향해 지향시킬 수도 있다. 일부 구현들에서, 디바이스 (1000) 는 어느 OE 모드가 사용될지에 기초하여 광학 엘리먼트 (1004) 를 조정하도록 구성된다. 예를 들어, 제어기 (1010) 는 배향들 사이에서 회전시키거나, 포지션들 사이에서 이동시키거나, 광학 엘리먼트 (1004) 에 자극을 인가하도록 액추에이터에 명령하거나 그렇지 않으면 광학 엘리먼트 (1004) 를 제어할 수도 있다.
제어기 (1010) (또는 디바이스 (1000) 의 다른 적합한 컴포넌트) 는 상이한 OE 모드들에 대해 (및 옵션으로, 상이한 디바이스 모드들 동안) 광학 엘리먼트 (1004) 를 제어할 수도 있다. 도 18 은 능동 심도 감지를 위한 광학 엘리먼트 (1004) 를 제어하는 예시적인 동작 (1800) 을 도시하는 예시적인 플로우 차트를 도시한다. 동작 (1800) 은 제어기 (1010) 또는 디바이스 (1000) 의 다른 적합한 컴포넌트에 의해 수행될 수도 있다.
1802 에서, 디바이스 (1010) (이를 테면 제어기 (1010)) 는 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별한다. 일부 구현들에서, 제어기 (1010) 는 디바이스 모드에 기초하여 OE 모드를 식별한다 (1804). 예를 들어, 제 1 애퍼처 (1020) 가 (제 2 디바이스 모드에 대응할 수도 있는) 제 2 이미터 (1003) 를 사용하는 능동 심도 감지를 위해 사용될 경우, 제어기 (1010) 는 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있을 것임을 식별할 수도 있다. 다른 예에서, 제 1 애퍼처 (1020) 가 (제 1 디바이스 모드에 대응할 수도 있는) 제 1 이미터 (1002) 를 사용하는 능동 심도 감지를 위해 사용될 경우, 제어기 (1010) 는 광학 엘리먼트 (1004) 가 제 1 OE 모드에 있을 것임을 식별할 수도 있다. 다른 예에서, 디바이스 (1000) 가 능동 심도 감지를 위해 장면의 더 넓은 부분에 걸쳐 광을 방출하기 위해 양자의 애퍼처들을 사용할 경우, 제어기 (1010) 는 (교번하는 OE 모드들과 같이) 제 1 OE 모드가 제 1 시간 부분 동안 사용될 것이고 제 2 OE 모드가 제 2 시간 부분 동안 사용될 것이라고 결정할 수도 있다.
OE 모드들의 식별을 디바이스 모드에 기초로 하는 일부 구현들에서, 제어기 (1010) 는 상이한 능동 심도 감지 시스템들의 효율에 기초하여 OE 모드를 식별할 수도 있다. 예를 들어, 구조화된 광 심도 감지를 위해, 제 1 이미터 (1002) 는 광의 제 1 분포를 방출할 수도 있고, 제 2 이미터 (1003) 는 광의 제 2 분포를 방출할 수도 있다. 광의 제 1 분포는 광의 제 2 분포보다 더 희박하거나 더 큰 코드워드들을 가질 수도 있다. 이러한 방식으로, 광의 제 1 분포를 사용하는 제 1 심도 맵은 (주변 광과 같은) 간섭이 없을 때 광의 제 2 분포를 사용하는 제 2 심도 맵보다 더 낮은 해상도를 가질 수도 있다. 그러나, 광의 제 2 분포는 광 포인트들이 더 근접하게 뭉쳐있거나 더 낮은 개별 광 강도를 가질 수도 있기 때문에 간섭에 더 민감할 수도 있다. 예를 들어, 광의 제 2 분포를 사용하는 심도 맵핑은 밝은 태양광에서 더 어려울 수도 있다. 다른 예에서, 광의 제 2 분포를 사용하는 심도 맵핑은 객체들의 심도들이 증가함에 따라 더 어려울 수도 있다. 이러한 방식으로, 디바이스 (1000) 는 사용되고 있는 광의 현재 분포가 충분한지 여부를 결정할 수도 있다. 예를 들어, 광의 분포의 반사들을 포함하는 이미지들이 프로세싱되고 심도 맵을 생성하기 위해 심도들이 결정될 때, 심도 맵은 심도가 결정될 수 없는 홀들을 포함할 수도 있다. 홀들의 수 또는 사이즈들이 광의 제 2 분포에 대한 임계치에 도달하면, 디바이스 (1000) 는 제 1 이미터 (1002) 가 사용될 것이라고 결정할 수도 있다 (여기서 광의 더 희박한 분포가 방출됨). 이러한 방식으로, 디바이스 (1000) 는 능동 심도 감지를 위해 제 2 디바이스 모드로부터 제 1 디바이스 모드로 스위칭하도록 결정할 수도 있다. 그 결과, 제어기 (1010) 는 능동 심도 감지를 위해 광의 제 2 분포를 사용하는 것으로부터 능동 심도 감지를 위해 광의 제 1 분포를 사용하는 것으로 스위칭하기 위해 OE 모드들 사이에서 스위칭하도록 광학 엘리먼트를 제어할 수도 있다.
일부 구현들에서, 제어기 (1010) 는 능동 심도 감지 또는 이미지 애플리케이션에 기초하여 OE 모드를 식별한다 (1806). 예를 들어, 제 2 애퍼처 (1022) 가 스마트폰 상의 전면 애퍼처이고, 스마트폰이 얼굴 인식을 위해 제 1 이미터 (1002) 를 사용하는 능동 심도 감지를 수행할 경우, 제어기 (1010) 는 제 2 애퍼처 (1022) 가 능동 심도 감지를 위해 사용될 것이라고 결정할 수도 있다. 이러한 방식으로, 제어기 (1010) 는 광학 엘리먼트 (1004) 가 제 2 OE 모드에 있을 것임을 식별할 수도 있다. 다른 예에서, 스마트폰이 저전력 상태 또는 잠금 상태에 있는 경우, 디바이스 (1000) 는 객체 검출을 위해 (이를 테면 가능한 얼굴이 이미지 센서에 대한 시야의 중심에 접근하는지를 검출하기 위해) 저전력 이미지 센서를 사용하여 이미징 애플리케이션을 수행하도록 구성될 수도 있다. 가능한 얼굴이 검출되면, 제어기 (1010) 는 능동 심도 감지를 위해 (이를 테면 얼굴 인식을 위해) 광의 분포를 방출하기 위해 제 1 이미터 (1002) 를 사용함에 있어서 OE 모드들을 스위칭하도록 결정할 수도 있다.
일부 추가 구현들에서, 제어기 (1010) 는 사용자 입력에 기초하여 OE 모드를 식별한다 (1808). 예를 들어, 애퍼처들 (1020 및 1022) 이 디바이스 (1000) 의 상이한 측면들 상에 있는 경우, 사용자는 능동 심도 감지를 수행할 디바이스로부터의 방향을 표시할 수도 있다. 예를 들어, 사용자는 (GUI, 가청 커맨드, 햅틱 커맨드 등을 통해서와 같이) 하나 이상의 입력들을 통해 명시적으로 방향을 선택하거나 그렇지 않으면 OE 모드를 표시할 수도 있다.
일부 구현들에서, 제어기 (1010) 는 디바이스 (1000) 의 배향에 기초하여 OE 모드를 식별한다 (1809). 예를 들어, 제어기 (1010) 는 (이를 테면 배향 측정들 또는 이미지 센서로부터의 이미지들에서의 광 강도들의 측정들에 기초하여) 디바이스 (1000) 가 제 1 애퍼처 (1020) 가 위로 지향되고 제 2 애퍼처 (1022) 가 표면을 향해 아래로 지향된 상태로 표면 상에 놓여 있다고 결정할 수도 있다. 제어기 (1010) 는 제 1 애퍼처 (1020) 가 이미지 센서를 사용하는 객체 검출 및 제 1 이미터 (1002) 를 사용하는 얼굴 인식을 위한 능동 심도 감지를 위해 사용될 것이라고 결정할 수도 있다. 이러한 방식으로, 제어기 (1010) 는 (제 1 애퍼처 (1020) 로부터의 광을 이미지 센서를 향해 지향시키기 위해) 광 검출을 위한 제 2 OE 모드를 식별할 수도 있고, 제어기 (1010) 는 (능동 심도 감지를 위해 제 1 이미터 (1002) 로부터의 광을 제 1 애퍼처 (1020) 를 향해 지향시키기 위해) 얼굴 인식을 위한 제 1 OE 모드를 식별할 수도 있다.
1810 에서, 디바이스 (1000) 는 식별된 OE 모드에 기초하여 광학 엘리먼트 (1004) 를 제어한다. 예를 들어, 제어기 (1010) 는 식별된 OE 모드에 대해 광학 엘리먼트 (1004) 가 조정될지 여부를 결정할 수도 있고, 제어기 (1010) 는 식별된 OE 모드에 기초하여 광학 엘리먼트 (1004) 를 조정할 수도 있다 (1812). 본 명세서에 언급된 바와 같이, 광학 엘리먼트 (1004) 를 조정하는 것은 광학 엘리먼트 (1004) 를 회전시키는 것, 광학 엘리먼트 (1004) 를 이동시키는 것, 또는 광학 엘리먼트 (1004) 에 자극 (이를 테면 전류) 을 인가하는 것을 포함할 수도 있다. 예를 들어, 제어기 (1010) 는 현재 OE 모드를 식별된 OE 모드와 비교하고 차이가 존재하는지를 결정할 수도 있다. 차이가 존재하면, 제어기 (1010) 는 광학 엘리먼트 (1004) 를 회전 또는 이동시킬 것을 액추에이터에 명령 (그렇지 않으면 제어) 할 수도 있거나, 광학 엘리먼트 (1004) 에 또는 그로부터 전류를 인가 또는 제거하도록 전기 콘택들을 제어할 수도 있다. 본 명세서에 언급된 바와 같이, 광학 엘리먼트 (1004) 는 (디바이스 모드 동안을 포함하여) 디바이스 동작 동안 모드들을 변경할 수도 있다. 이로써, 동작 (1800) 은 다수 회 수행될 수도 있다.
일부 구현들에서, 제 1 디바이스 모드 및 제 2 디바이스 모드는 동시에 발생할 수도 있다. 예를 들어, 디바이스 (1000) 가 제 2 이미터 (1003) 를 포함하는 경우, 능동 심도 감지는 디바이스 (1000) 의 양자의 이미터들 및 양자의 애퍼처들을 사용하여 수행될 수도 있다. 다른 예에서, 디바이스 (300) 가 제 2 애퍼처 (322) 를 포함하는 경우, 이미지 캡처는 디바이스 (300) 의 양자의 이미지 센서들 및 양자의 애퍼처들을 사용하여 수행될 수도 있다. 예를 들어, 스마트폰의 전방으로부터의 능동 심도 감지 또는 이미지 캡처는 스마트폰의 후방으로부터의 능동 심도 감지 또는 이미지 캡처와 동시에 수행될 수도 있다. 다른 예에서, 양자의 능동 심도 감지 및 이미지 캡처는 디바이스 (1000) 의 동일한 측면으로부터 수행될 수도 있다. 일부 구현들에서, 능동 심도 감지는 이미지 캡처를 위한 이미지 센서 (1003) 에 대한 레이저 자동초점을 위한 비행 시간 심도 감지일 수도 있다.
본 명세서에 언급된 바와 같이, 디바이스는 이미지 센서들, 이미터들, 광학 엘리먼트들 등의 임의의 적합한 조합을 포함할 수도 있고, 컴포넌트들의 구성은 임의의 적합한 구성일 수도 있다. 디바이스는 본 명세서에서 설명된 방법들의 임의의 조합을 수행할 수도 있다. 예를 들어, 디바이스는 복수의 능동 심도 감지 모드들 및 복수의 이미지 캡처 모드들에 대해 구성될 수도 있다.
본 명세서에서 설명된 기법들은, 특정 방식으로 구현되는 것으로서 구체적으로 설명되지 않으면, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명된 임의의 피처들은 또한, 집적된 로직 디바이스에서 함께 또는 별개지만 상호운용가능한 로직 디바이스들로서 별도로 구현될 수도 있다. 소프트웨어에서 구현되면, 기법들은, 프로세서 (또는 제어기, 신호 프로세서, 또는 다른 적합한 컴포넌트) 에 의해 실행될 경우, 디바이스로 하여금, 상기 설명된 방법들 중 하나 이상을 수행하게 하는 명령들을 포함하는 비일시적인 컴퓨터 판독가능 저장 매체 (이를 테면 도 3a 의 예시적인 디바이스 (300) 의 메모리 (306) 또는 도 10 의 예시적인 디바이스 (1000) 의 메모리 (1006)) 에 의해 적어도 부분적으로 실현될 수도 있다. 비일시적인 프로세서 판독가능 데이터 저장 매체는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있으며, 이는 패키징 재료들을 포함할 수도 있다.
비일시적인 프로세서 판독가능 저장 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), FLASH 메모리, 다른 알려진 저장 매체들 등을 포함할 수도 있다. 기법들은 추가적으로 또는 대안적으로, 명령들 또는 데이터 구조들의 형태로 코드를 수록하거나 통신하고 컴퓨터 또는 다른 프로세서에 의해 액세스, 판독 및/또는 실행될 수 있는 프로세서 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
본 명세서에 개시된 실시형태들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들 및 명령들은 도 3a 의 예시적인 디바이스 (300) 및 도 10 의 예시적인 디바이스 (1000) 에서의 프로세서 (305 또는 1005) 또는 신호 프로세서 (312 또는 1012) 와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 그러한 프로세서(들)는 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), ASIP들 (application specific instruction set processors), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 또는 다른 등가의 집적 또는 이산 로직 회로부를 포함할 수도 있지만 그것으로 제한되지 않는다. 본 명세서에서 사용된 바와 같은 용어 "프로세서" 는 본 명세서에서 설명된 기법들의 구현에 적합한 전술한 구조들 또는 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 추가로, 일부 양태들에 있어서, 본 명세서에서 설명된 기능은 본 명세서에서 설명된 바와 같이 구성된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안적으로, 그 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수도 있다.
본 개시는 예시적인 양태들을 나타내지만, 첨부된 청구항들의 범위로부터 일탈함 없이, 다양한 변경들 및 수정들이 본 명세서에서 행해질 수 있음이 주목되어야 한다. 예를 들어, 이미지 센서 및 이미터의 특정 배향들이 도시되지만, 그러한 컴포넌트들의 배향들은 다른 적합한 배향들일 수도 있다. 예를 들어, 하나 이상의 이미터들 또는 하나 이상의 이미지 센서들은 디바이스와 관련하여 임의의 적합한 평면 (이를 테면 전방, 후방, 상부, 하부 등을 포함하여, 디바이스의 임의의 측면에 평행한 평면, 또는 디바이스의 2 개 이상의 측면들에 의해 정의된 평면들 사이의 평면) 상에 포지셔닝될 수도 있다. 따라서, 본 개시는 이미지 센서의 특정 배향 또는 이미터의 특정 배향으로 제한되지 않는다. 다른 예에서, 광학 엘리먼트의 병진 이동이 하나의 축을 따라 도시되지만, 병진 이동은 하나 이상의 적합한 축들을 따를 수도 있다. 추가 예에서, 광학 엘리먼트의 회전이 하나의 축을 따라 도시되지만, 광학 엘리먼트의 회전은 임의의 적합한 수의 축들을 따라 발생할 수도 있다.
추가적으로, 본 명세서에서 설명된 양태들에 따른 방법 청구항들의 단계들 또는 액션들은 달리 명시적으로 서술되지 않으면 임의의 특정 순서로 수행될 필요가 없다. 예를 들어, 설명된 예시적인 동작들의 단계들은, 디바이스에 의해 (이를 테면 제어기 (310 또는 1010), 프로세서 (305 또는 1005), 신호 프로세서 (312 또는 1012), 또는 광학 엘리먼트 (304 또는 1004) 를 포함하는 컴포넌트들에 의해) 수행되면, 임의의 순서로 그리고 임의의 주파수에서 수행될 수도 있다. 더욱이, 비록 엘리먼트들 또는 컴포넌트들이 단수로 설명되거나 또는 청구될 수도 있지만, 그 단수로의 제한이 명시적으로 서술되지 않으면 복수가 고려된다. 예를 들어, 광학 엘리먼트는 3 개 이상의 이미지 센서들 또는 이미터들을 지원하도록 구성될 수도 있다.

Claims (30)

  1. 능동 심도 감지를 위한 디바이스로서,
    제 1 광학 경로를 따라 전파된 광을 수신하도록 구성된 제 1 애퍼처;
    제 2 광학 경로를 따라 전파된 광을 수신하도록 구성된 제 2 애퍼처;
    제 1 광을 방출하도록 구성된 제 1 이미터; 및
    제 1 광학 엘리먼트 (OE) 모드에서 상기 제 1 이미터로부터의 상기 제 1 광을 상기 제 1 광학 경로를 향해 지향시키도록 구성된 광학 엘리먼트로서, 상기 제 1 이미터로부터의 상기 제 1 광은 제 2 OE 모드에서 상기 제 2 광학 경로를 향해 지향되는, 상기 광학 엘리먼트를 포함하는, 능동 심도 감지를 위한 디바이스.
  2. 제 1 항에 있어서,
    상기 제 1 OE 모드와 연관된 제 1 포지션과 상기 제 2 OE 모드와 연관된 제 2 포지션 사이에서 상기 광학 엘리먼트를 이동시키도록 구성된 액추에이터를 더 포함하는, 능동 심도 감지를 위한 디바이스.
  3. 제 1 항에 있어서,
    상기 제 1 OE 모드와 연관된 제 1 배향과 상기 제 2 OE 모드와 연관된 제 2 배향 사이에서 상기 광학 엘리먼트를 회전시키도록 구성된 액추에이터를 더 포함하는, 능동 심도 감지를 위한 디바이스.
  4. 제 3 항에 있어서,
    상기 광학 엘리먼트의 투명도 및 반사도는 상기 제 1 광학 경로와 관련한 상기 광학 엘리먼트의 배향에 기초하는, 능동 심도 감지를 위한 디바이스.
  5. 제 1 항에 있어서,
    상기 광학 엘리먼트에 전류를 인가하도록 구성된 전류 소스를 더 포함하고, 상기 광학 엘리먼트의 투명도 및 반사도는 상기 광학 엘리먼트에 인가된 전류에 기초하는, 능동 심도 감지를 위한 디바이스.
  6. 제 1 항에 있어서,
    제 2 광을 방출하도록 구성된 제 2 이미터를 더 포함하고,
    상기 광학 엘리먼트는 상기 광학 엘리먼트가 상기 제 1 OE 모드에 있을 때 상기 제 2 이미터로부터의 상기 제 2 광을 상기 제 2 광학 경로를 향해 지향시키도록 추가로 구성되고; 그리고
    상기 제 2 이미터로부터의 상기 제 2 광은 상기 제 2 OE 모드에서 상기 제 1 광학 경로를 향해 지향되는, 능동 심도 감지를 위한 디바이스.
  7. 제 1 항에 있어서,
    능동 심도 감지를 위한 상기 제 1 광의 반사를 수신하도록 구성된 하나 이상의 수신기들을 더 포함하는, 능동 심도 감지를 위한 디바이스.
  8. 제 1 항에 있어서,
    하나 이상의 이미지들을 캡처하도록 구성된 이미지 센서를 더 포함하고,
    상기 광학 엘리먼트는 상기 제 1 OE 모드에서 상기 제 2 애퍼처에 의해 수신된 광을 상기 이미지 센서를 향해 지향시키도록 구성되고; 그리고
    상기 제 1 애퍼처에 의해 수신된 광은 상기 제 2 OE 모드에서 상기 이미지 센서를 향해 지향되는, 능동 심도 감지를 위한 디바이스.
  9. 제 8 항에 있어서,
    상기 제 1 애퍼처 또는 상기 제 2 애퍼처로부터 수신된 광으로부터 상기 이미지 센서에 의해 캡처된 상기 하나 이상의 이미지들을 프로세싱하도록 구성된 신호 프로세서를 더 포함하는, 능동 심도 감지를 위한 디바이스.
  10. 제 9 항에 있어서,
    상기 신호 프로세서에 명령들을 제공하도록 구성된 애플리케이션 프로세서; 및
    프로세싱된 상기 이미지들을 저장하도록 구성된 메모리를 더 포함하는, 능동 심도 감지를 위한 디바이스.
  11. 제 1 항에 있어서,
    상기 광학 엘리먼트를 제어하기 위한 제어기를 더 포함하는, 능동 심도 감지를 위한 디바이스.
  12. 제 11 항에 있어서,
    상기 제어기는 상기 디바이스의 배향에 기초하여 상기 광학 엘리먼트를 제어하는, 능동 심도 감지를 위한 디바이스.
  13. 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 디바이스에 의한 능동 심도 감지를 위한 방법으로서,
    상기 광학 엘리먼트가 제 1 광학 엘리먼트 (OE) 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계; 및
    식별된 OE 모드에 기초하여 상기 광학 엘리먼트를 제어하는 단계로서,
    상기 광학 엘리먼트는 상기 제 1 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키고; 그리고
    상기 제 1 애퍼처로부터의 광은 상기 제 2 OE 모드에서 상기 제 2 애퍼처를 향해 지향되는, 상기 광학 엘리먼트를 제어하는 단계를 포함하는, 능동 심도 감지를 위한 방법.
  14. 제 13 항에 있어서,
    상기 광학 엘리먼트를 제어하는 단계는 상기 광학 엘리먼트를 조정하는 단계를 포함하는, 능동 심도 감지를 위한 방법.
  15. 제 14 항에 있어서,
    상기 광학 엘리먼트를 조정하는 단계는,
    상기 광학 엘리먼트를 회전시키는 단계;
    상기 광학 엘리먼트를 병진 이동시키는 단계; 또는
    상기 광학 엘리먼트에 전류를 인가하는 단계
    중 하나 이상을 포함하는, 능동 심도 감지를 위한 방법.
  16. 제 13 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 상기 디바이스의 디바이스 모드에 기초하고,
    상기 디바이스는 제 2 이미터 또는 이미지 센서를 포함하고;
    제 1 디바이스 모드는 상기 제 1 이미터와 연관되고; 그리고
    제 2 디바이스 모드는 상기 제 2 이미터 또는 상기 이미지 센서와 연관되는, 능동 심도 감지를 위한 방법.
  17. 제 13 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 사용자 입력에 기초하는, 능동 심도 감지를 위한 방법.
  18. 제 13 항에 있어서,
    상기 제 1 이미터에 의해 광을 방출하는 단계;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키는 단계; 및
    상기 제 2 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 2 애퍼처를 향해 지향시키는 단계를 더 포함하는, 능동 심도 감지를 위한 방법.
  19. 제 18 항에 있어서,
    상기 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터에 의해 광을 방출하는 단계로서, 상기 제 1 이미터는 상기 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출하는, 상기 제 2 이미터에 의해 광을 방출하는 단계;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 2 이미터로부터의 광을 상기 제 2 애퍼처를 향해 지향시키는 단계; 및
    상기 제 2 OE 모드에서 상기 제 2 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키는 단계를 더 포함하는, 능동 심도 감지를 위한 방법.
  20. 제 18 항에 있어서,
    상기 디바이스가 제 2 디바이스 모드에 있을 때 이미지 센서에 의해 이미지들을 캡처하는 단계로서, 상기 제 1 이미터는 상기 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출하는, 상기 이미지 센서에 의해 이미지들을 캡처하는 단계;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 2 애퍼처로부터의 광을 상기 이미지 센서를 향해 지향시키는 단계; 및
    상기 제 2 OE 모드에서 상기 제 1 애퍼처로부터의 광을 상기 이미지 센서를 향해 지향시키는 단계를 더 포함하는, 능동 심도 감지를 위한 방법.
  21. 제 13 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 단계는 상기 디바이스의 배향에 기초하는, 능동 심도 감지를 위한 방법.
  22. 명령들을 저장하는 비일시적인 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은, 제 1 애퍼처, 제 2 애퍼처, 제 1 이미터, 및 광학 엘리먼트를 포함하는 능동 심도 감지를 위한 디바이스의 하나 이상의 프로세서들에 의해 실행될 경우, 상기 디바이스로 하여금,
    상기 광학 엘리먼트가 제 1 광학 엘리먼트 (OE) 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하게 하고; 그리고
    식별된 OE 모드에 기초하여 상기 광학 엘리먼트를 제어하게 하는 것으로서,
    상기 광학 엘리먼트는 상기 제 1 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키고; 그리고
    상기 제 1 이미터로부터의 광은 상기 제 2 OE 모드에서 상기 제 2 애퍼처를 향해 지향되는, 상기 광학 엘리먼트를 제어하게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  23. 제 22 항에 있어서,
    상기 광학 엘리먼트를 제어하기 위한 명령들의 실행은, 상기 디바이스로 하여금, 상기 광학 엘리먼트를 조정하게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  24. 제 23 항에 있어서,
    상기 광학 엘리먼트를 조정하는 것은,
    상기 광학 엘리먼트를 회전시키는 것;
    상기 광학 엘리먼트를 병진 이동시키는 것; 또는
    상기 광학 엘리먼트에 전류를 인가하는 것
    중 하나 이상을 포함하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  25. 제 22 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 상기 디바이스의 디바이스 모드에 기초하고,
    상기 디바이스는 제 2 이미터 또는 이미지 센서를 포함하고;
    제 1 디바이스 모드는 상기 제 1 이미터와 연관되고; 그리고
    제 2 디바이스 모드는 상기 제 2 이미터 또는 상기 이미지 센서와 연관되는, 비일시적인 컴퓨터 판독가능 저장 매체.
  26. 제 22 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 사용자 입력에 기초하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  27. 제 22 항에 있어서,
    상기 명령들의 실행은 또한, 상기 디바이스로 하여금,
    상기 제 1 이미터에 의해 광을 방출하게 하고;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키게 하고; 그리고
    상기 제 2 OE 모드에서 상기 제 1 이미터로부터의 광을 상기 제 2 애퍼처를 향해 지향시키게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  28. 제 27 항에 있어서,
    상기 명령들의 실행은 또한, 상기 디바이스로 하여금,
    상기 디바이스가 제 2 디바이스 모드에 있을 때 제 2 이미터에 의해 광을 방출하게 하는 것으로서, 상기 제 1 이미터는 상기 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출하는, 상기 제 2 이미터에 의해 광을 방출하게 하고;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 2 이미터로부터의 광을 상기 제 2 애퍼처를 향해 지향시키게 하고; 그리고
    상기 제 2 OE 모드에서 상기 제 2 이미터로부터의 광을 상기 제 1 애퍼처를 향해 지향시키게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  29. 제 27 항에 있어서,
    상기 명령들의 실행은 또한, 상기 디바이스로 하여금,
    상기 디바이스가 제 2 디바이스 모드에 있을 때 이미지 센서에 의해 이미지들을 캡처하게 하는 것으로서, 상기 제 1 이미터는 상기 디바이스가 제 1 디바이스 모드에 있을 때 광을 방출하는, 상기 이미지 센서에 의해 이미지들을 캡처하게 하고;
    상기 광학 엘리먼트에 의해, 상기 제 1 OE 모드에서 상기 제 2 애퍼처로부터의 광을 상기 이미지 센서를 향해 지향시키게 하고; 그리고
    상기 제 2 OE 모드에서 상기 제 1 애퍼처로부터의 광을 상기 이미지 센서를 향해 지향시키게 하는, 비일시적인 컴퓨터 판독가능 저장 매체.
  30. 제 22 항에 있어서,
    상기 광학 엘리먼트가 제 1 OE 모드에 있을 것인지 또는 제 2 OE 모드에 있을 것인지를 식별하는 것은 상기 디바이스의 배향에 추가로 기초하는, 비일시적인 컴퓨터 판독가능 저장 매체.
KR1020227031824A 2020-04-03 2021-02-25 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터 KR20220164481A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202063004970P 2020-04-03 2020-04-03
US63/004,970 2020-04-03
US202063010447P 2020-04-15 2020-04-15
US63/010,447 2020-04-15
US16/891,146 2020-06-03
US16/891,146 US11277551B2 (en) 2020-04-03 2020-06-03 Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
PCT/US2021/019728 WO2021202021A1 (en) 2020-04-03 2021-02-25 Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Publications (1)

Publication Number Publication Date
KR20220164481A true KR20220164481A (ko) 2022-12-13

Family

ID=77921670

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227031824A KR20220164481A (ko) 2020-04-03 2021-02-25 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터
KR1020227031822A KR20220164480A (ko) 2020-04-03 2021-02-25 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227031822A KR20220164480A (ko) 2020-04-03 2021-02-25 다중 광학 경로 이미징 기법들 및 능동 심도 감지 기법들을 위한 공유된 이미터

Country Status (6)

Country Link
US (2) US11394860B2 (ko)
EP (2) EP4128740A1 (ko)
KR (2) KR20220164481A (ko)
CN (2) CN115280751B (ko)
TW (2) TW202207689A (ko)
WO (2) WO2021202020A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312055B (zh) * 2019-07-26 2021-11-09 华为技术有限公司 电子设备及图像处理方法
CN110505380B (zh) * 2019-08-14 2022-02-25 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
KR20220015039A (ko) * 2020-07-30 2022-02-08 에스케이하이닉스 주식회사 이미지 처리 시스템
US11297260B1 (en) 2020-11-20 2022-04-05 Donald Siu Techniques for capturing video in landscape mode by a handheld device
TWI793851B (zh) * 2021-07-16 2023-02-21 大立光電股份有限公司 具有雙通光區域的電子裝置
CN115734059A (zh) * 2021-08-25 2023-03-03 晋城三赢精密电子有限公司 双镜头摄像模组
US11922606B2 (en) * 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101278239B1 (ko) 2006-10-17 2013-06-24 삼성전자주식회사 듀얼 렌즈 광학계 및 이를 구비하는 듀얼 렌즈 카메라
JP5128245B2 (ja) 2007-11-13 2013-01-23 Ｈｏｙａ株式会社 撮像装置
EP2202613A1 (en) * 2008-12-18 2010-06-30 Chung Shan Institute of Science and Technology Image invariant optical speckle capturing device and method
KR101325292B1 (ko) 2009-06-16 2013-11-08 인텔 코오퍼레이션 핸드헬드 디바이스의 카메라 응용
KR101822661B1 (ko) * 2011-10-27 2018-01-26 삼성전자주식회사 비전 인식 장치 및 방법
US20140071329A1 (en) 2012-09-07 2014-03-13 Rambus Inc. Reconfigurable optical device using a total internal reflection (tir) optical switch
TW201415879A (zh) 2012-10-12 2014-04-16 Wintek Corp 影像擷取裝置
US20140218587A1 (en) * 2013-02-07 2014-08-07 Motorola Mobility Llc Double sided camera module
TWI589979B (zh) * 2013-05-02 2017-07-01 群邁通訊股份有限公司 雙向鏡頭模組、相機模組及使用該相機模組的電子裝置
US9335452B2 (en) * 2013-09-30 2016-05-10 Apple Inc. System and method for capturing images
US9374514B2 (en) 2013-10-18 2016-06-21 The Lightco Inc. Methods and apparatus relating to a camera including multiple optical chains
US9557519B2 (en) 2013-10-18 2017-01-31 Light Labs Inc. Methods and apparatus for implementing a camera device supporting a number of different focal lengths
US10057509B2 (en) 2014-05-30 2018-08-21 Flir Systems, Inc. Multiple-sensor imaging system
US10419703B2 (en) * 2014-06-20 2019-09-17 Qualcomm Incorporated Automatic multiple depth cameras synchronization using time sharing
US9854226B2 (en) 2014-12-22 2017-12-26 Google Inc. Illuminator for camera system having three dimensional time-of-flight capture with movable mirror element
CN105527782A (zh) 2015-02-13 2016-04-27 福州瑞芯微电子股份有限公司 便携式电子设备，及其中的摄像结构与获取影像的方法
US9857584B2 (en) 2015-04-17 2018-01-02 Light Labs Inc. Camera device methods, apparatus and components
KR20170032761A (ko) 2015-09-15 2017-03-23 엘지전자 주식회사 이동 단말기
US9813623B2 (en) 2015-10-30 2017-11-07 Essential Products, Inc. Wide field of view camera for integration with a mobile device
WO2017120341A1 (en) * 2016-01-06 2017-07-13 Vuzix Corporation Double-sided imaging light guide
CN107219710B (zh) 2016-03-21 2020-12-08 深圳富泰宏精密工业有限公司 多镜头系统及具有该多镜头系统的便携式电子装置
US10539763B2 (en) * 2016-03-31 2020-01-21 Sony Corporation Optical system, electronic device, camera, method and computer program
US11307430B2 (en) * 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10502618B2 (en) * 2016-12-03 2019-12-10 Waymo Llc Waveguide diffuser for light detection using an aperture
US10805594B2 (en) * 2018-02-08 2020-10-13 Facebook Technologies, Llc Systems and methods for enhanced depth sensor devices
US10969668B2 (en) * 2018-07-24 2021-04-06 Qualcomm Incorporated Adjustable light distribution for active depth sensing systems
CN208569285U (zh) 2018-08-02 2019-03-01 南昌欧菲生物识别技术有限公司 投影模组、光电装置及电子设备
CN110505380B (zh) 2019-08-14 2022-02-25 Oppo广东移动通信有限公司 激光投射器、深度相机及电子装置
CN110475053A (zh) 2019-08-14 2019-11-19 Oppo（重庆）智能科技有限公司 电子设备
US11394860B2 (en) 2020-04-03 2022-07-19 Qualcomm Incorporated Multiple optical path imaging techniques and shared emitter for active depth sensing techniques

Also Published As

Publication number Publication date
CN115280751A (zh) 2022-11-01
CN115280751B (zh) 2024-04-05
US11277551B2 (en) 2022-03-15
TW202207689A (zh) 2022-02-16
WO2021202020A1 (en) 2021-10-07
EP4128740A1 (en) 2023-02-08
US20210314466A1 (en) 2021-10-07
EP4128738B1 (en) 2024-05-08
US20210314467A1 (en) 2021-10-07
CN115280752A (zh) 2022-11-01
US11394860B2 (en) 2022-07-19
KR20220164480A (ko) 2022-12-13
TW202147255A (zh) 2021-12-16
WO2021202021A1 (en) 2021-10-07
CN115280752B (zh) 2024-05-14
EP4128738A1 (en) 2023-02-08

Similar Documents

Publication Publication Date Title
US11394860B2 (en) Multiple optical path imaging techniques and shared emitter for active depth sensing techniques
CN109379454B (zh) 电子设备
CN109188711B (zh) 屏下光学系统、衍射光学元件的设计方法及电子设备
US9176598B2 (en) Free-space multi-dimensional absolute pointer with improved performance
EP3827217B1 (en) Adjustable light distribution for active depth sensing systems
WO2020057204A1 (zh) 补偿显示屏、屏下光学系统及电子设备
US8654234B2 (en) Bi-directional screen
CN109274789B (zh) 电子设备
CN116325775A (zh) 屏下相机和传感器控制
CA2812433A1 (en) Integrated low power depth camera and projection device
WO2020057206A1 (zh) 屏下光学系统及电子设备
WO2020238491A1 (zh) 电子装置的控制方法及电子装置
US20160146592A1 (en) Spatial motion sensing device and spatial motion sensing method
US20110303832A1 (en) Spatial Detection on an Electronic Device Using Optical Coding