KR102611080B1 - 오토 포커스 제어를 갖는 이미징 디바이스들 - Google Patents

오토 포커스 제어를 갖는 이미징 디바이스들 Download PDF

Info

Publication number
KR102611080B1
KR102611080B1 KR1020187009890A KR20187009890A KR102611080B1 KR 102611080 B1 KR102611080 B1 KR 102611080B1 KR 1020187009890 A KR1020187009890 A KR 1020187009890A KR 20187009890 A KR20187009890 A KR 20187009890A KR 102611080 B1 KR102611080 B1 KR 102611080B1
Authority
KR
South Korea
Prior art keywords
image
user
imager
scene
displayed image
Prior art date
Application number
KR1020187009890A
Other languages
English (en)
Other versions
KR20180053333A (ko
Inventor
크리스티안 탕-제스퍼슨
마이클 키
미구엘 브루노 바엘로 파뇨스
플로린 쿠투
제임스 패트릭 롱
하르트무트 루드만
Original Assignee
에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드 filed Critical 에이엠에스-오스람 아시아 퍼시픽 피티이. 리미티드
Publication of KR20180053333A publication Critical patent/KR20180053333A/ko
Application granted granted Critical
Publication of KR102611080B1 publication Critical patent/KR102611080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/26—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein the transmitted pulses use a frequency-modulated or phase-modulated carrier wave, e.g. for pulse compression of received signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/40—Systems for automatic generation of focusing signals using time delay of the reflected waves, e.g. of ultrasonic waves
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18—Focusing aids
    • G03B13/20—Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 개시내용은 개선된 오토 포커스 능력들을 갖는 이미징 기술들 및 디바이스들을 기술한다. 이미징 기술들은 장면 내의 각각의 객체 또는 지점까지의 각자의 거리가 결정될 수 있도록 장면을 능동적으로 조명하는 것 및 전체 장면에 대한 거리들을 결정하는 것을 포함한다. 따라서, 임의의 주어진 순간에 (특정 범위 내에서) 장면 내의 모든 객체들까지의 거리들이 저장될 수 있다. 사용자가 관심 있는 장면의 영역을 선택하는 것을 허용하기 위해 이미지의 프리뷰가 디스플레이될 수 있다. 예를 들어, 사용자의 선택에 응답하여, 이미저의 광학 어셈블리는 장면의 선택된 영역의 특정 거리에 있는 객체들의 최적의 이미지 캡처에 대응하는 위치로 자동적으로 조정될 수 있다.

Description

오토 포커스 제어를 갖는 이미징 디바이스들
본 개시내용은 오토 포커스 제어를 갖는 이미징 디바이스들에 관한 것이다.
디지털 카메라들 및 스마트폰 카메라들과 같은 일부 이미지 취득 디바이스들은 장면의 선택된 지점 또는 구역에 포커스를 맞추도록 동작가능한 오토 포커스(autofocus)("AF") 광학 시스템을 포함한다. AF 특징은 사용자로부터의 수동적 개입에 대한 필요 없이, 피사체에 정확하게 자동적으로 포커스를 맞출 수 있는 능력을 디바이스에 제공할 수 있다.
수동 제어(예를 들어, 콘트라스트 AF), 및 능동 제어(예를 들어, 레이저 AF)를 포함하여, 여러 가지 유형들의 AF 제어가 이용가능하다. 예를 들어, 스마트폰들은 수동 AF를 사용하는 경향이 있는데, 이는 렌즈들이 포커스를 맞추기 위해 콘트라스트가 필요하기 때문이다. 이러한 디바이스들은 빈 색 표면들(blank colored surfaces) 상에 또는 약한 조명에서 포커스를 맞추기가 어려울 수 있다. 일부 스마트폰들에 포함된 플래시는 이러한 상황들에서 포커스 맞추기에 도움을 주기 위해 인공 조명을 생성하는 데 도움을 줄 수 있다. 콘트라스트 AF는 매우 반복적인(iterative) 경향이 있고 따라서 시간이 오래 걸릴(time-consuming) 수 있고 상당한 계산 리소스들(computational resources)을 사용할 수 있다. 한편, 능동 AF는 장면 내의 객체까지의 거리를 능동적으로 측정하는 것, 및 이후 그 특정 객체의 적절한 포커스를 위한 광학계(optics)를 조정하는 것을 수반한다. 능동 AF는 종종 저 조명 환경에서 잘 작동하지만, 일반적으로 제한된 구역만이 활성 조명(active illumination)에 의해 조명된다. 그 결과, 장면 내의 제한된 구역의 거리 정보가 알려진다. 사용자가 장면 내의 또 다른 구역에 포커스를 맞추기를 원하는 경우, 카메라 또는 호스트 디바이스는 거리 측정을 다시 해야 한다.
본 개시내용은 개선된 오토 포커스 능력들을 갖는 이미징 기술들 및 디바이스들을 기술한다. 이미징 기술들은 장면 내의 각각의 객체 또는 지점까지의 각자의 거리가 결정될 수 있도록 장면을 능동적으로 조명하는 것 및 전체 장면에 대한 거리들을 결정하는 것을 포함한다. 따라서, 임의의 주어진 순간에 (특정 범위 내에서) 장면 내의 모든 객체들에 대한 거리들이 저장될 수 있다. 사용자가 관심 있는 장면의 영역을 선택하는 것을 허용하기 위해 이미지의 프리뷰가 디스플레이될 수 있다. 예를 들어, 사용자의 선택에 응답하여, 이미저의 광학 어셈블리는 장면의 선택된 영역의 특정 거리에 있는 객체들의 최적의 이미지 캡처에 대응하는 위치로 자동적으로 조정될 수 있다.
예를 들어, 일 양태에서, 이미지를 생성하는 방법은 디스플레이 스크린 상에 제1 이미지를 디스플레이하는 단계를 포함하고, 디스플레이되는 이미지의 복수의 영역들 각각은 각자의 거리 값과 연관된다. 방법은 디스플레이되는 이미지의 영역들 중 하나의 사용자 선택을 나타내는 입력을 수신하는 단계를 포함한다. 사용자 입력을 수신하는 것에 응답하여, 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리 값에 대응하는 거리에 있는 하나 이상의 객체 상에 이미저가 포커스를 맞추도록, 이미저의 광학 어셈블리의 위치가 조정된다.
후속하는 특징들 중 하나 이상이 일부 구현예들에 존재한다. 예를 들어, 방법은 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리에 대응하는 거리에 있는 하나 이상의 객체가 이미저에 대해 초점이 맞춰져 있는 동안, 이미저에 의해 제2 이미지를 취득하는 단계를 포함하는 것을 포함할 수 있다.
일부 경우들에서, 방법은 광학 비행 시간 기술(optical time-of-flight technique)에 기초하여, 디스플레이되는 제1 이미지의 영역들 각각에 대한 각자의 거리 값을 계산하는 단계를 포함한다. 또한, 방법은 변조 또는 펄스 광학 복사 신호들(modulated or pulsed optical radiation signals)을 장면을 향해 방출하는 단계, 비행 시간 수신기에 의해 장면 내의 하나 이상의 객체에 의해 반사되는 변조 또는 펄스 광학 복사의 신호들을 감지하는 단계, 감지되는 신호들에 기초하여 출력 신호들을 생성하는 단계, 및 출력 신호들에 적어도 부분적으로 기초하여 제1 이미지의 영역들 각각에 대한 각자의 거리 값을 계산하는 단계를 포함할 수 있다.
일부 경우들에서, 사용자 선택을 나타내는 입력을 수신하는 단계는 이미지의 선택되는 영역이 나타나는 디스플레이 스크린의 구역을 사용자가 터치하는 것을 나타내는 신호를 수신하는 단계를 포함한다. 일부 구현예들에서, 광학 어셈블리의 위치를 조정하는 단계는 메모리 내의 룩업 테이블 내에 저장되는 조정량에 적어도 부분적으로 기초하고, 조정량은 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리에 대응한다.
또 다른 양태에서, 본 개시내용은 디스플레이 스크린을 포함하고 사용자 입력을 수신하도록 동작가능한 호스트 디바이스를 포함하는 장치를 기술한다. 장치는 또한 이미저 및 비행 시간 모듈을 포함하는 이미징 디바이스를 포함한다. 이미저는 장면의 이미지를 취득하도록 동작가능하고, 오토 포커스를 위해 동작가능한 조정 가능한 광학 어셈블리를 포함한다. 비행 시간 모듈은 변조 또는 펄스 광학 복사를 방출하기 위한 조명 소스, 및 조명 소스에 의해 방출되는 파장에서 장면 내의 하나 이상의 객체에 의해 반사되는 변조 또는 펄스 광학 복사를 감지하고, 광학 복사를 감지하는 것에 응답하여 출력 신호들을 생성하도록 동작가능한 수신기를 포함한다. 하나 이상의 프로세서는 이미저에 의해 취득되는 제1 이미지가 디스플레이 스크린 상에 디스플레이되도록 야기하고, 출력 신호들에 적어도 부분적으로 기초하여, 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하고, 디스플레이되는 이미지의 영역들 중 하나의 사용자 선택을 나타내는 입력에 응답하여, 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리 값에 대응하는 거리에 있는 하나 이상의 객체가 이미저에 대해 초점이 맞춰지도록, 광학 어셈블리의 위치를 조정하도록 집합적으로 동작가능하다.
일부 구현예들에서, 하나 이상의 프로세서는 비행 시간 기술을 사용하여 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하도록 집합적으로 동작가능하다. 또한, 일부 경우들에서, 디스플레이 스크린은 사용자가 디스플레이 스크린을 터치하는 것에 응답하여 오토 포커스를 위해 사용자에 의해 선택되는 디스플레이되는 이미지의 영역의 표시를 수신하도록 동작가능한 상호작용 터치 스크린이다.
또 다른 양태에 따라, 이미지를 생성하는 방법은 디스플레이 스크린 상에 제1 이미지를 디스플레이하는 단계를 포함하고, 디스플레이되는 이미지의 복수의 영역들 각각은 각자의 거리 값과 연관된다. 방법은 디스플레이되는 이미지의 영역들 중 하나의 사용자 선택을 나타내는 입력을 수신하는 단계를 포함하고, 이미지의 선택되는 영역은 객체를 포함한다. 객체의 미래 위치(future position)는 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리 값에 대응하는 거리에 적어도 부분적으로 기초하여 추정되고, 이미저의 광학 어셈블리는 객체가 미래 위치에 있을 때 포커스가 맞춰지도록 조정된다.
일부 경우들에서, 전술한 방법은 또한 객체가 미래 위치에 있을 때 이미저에 의해 제2 이미지를 취득하는 단계를 포함한다. 일부 경우들에서, 디스플레이되는 제1 이미지의 영역들 각각에 대한 각자의 거리 값은 광학 비행 시간 기술에 기초하여 계산된다. 예를 들어, 일부 구현예들은 변조 또는 펄스 광학 복사 신호들을 장면을 향해 방출하는 단계, 장면 내의 하나 이상의 객체에 의해 반사되는 변조 또는 펄스 광학 복사의 신호들을 비행 시간 수신기에 의해 감지하는 단계, 감지된 신호들에 기초하여 출력 신호들을 생성하는 단계, 및 출력 신호들에 적어도 부분적으로 기초하여 제1 이미지의 영역들 각각에 대한 각자의 거리 값을 계산하는 단계를 포함한다. 일부 경우들에서, 사용자 선택을 나타내는 입력을 수신하는 단계는 이미지 내의 객체가 나타나는 디스플레이 스크린의 구역을 사용자가 터치하는 것을 나타내는 신호를 수신하는 단계를 포함한다.
또 다른 양태에서, 장치는 디스플레이 스크린을 포함하고 사용자 입력을 수신하도록 동작가능한 호스트 디바이스를 포함한다. 장치는 또한 이미저 및 비행 시간 모듈을 포함하는 이미징 디바이스를 포함한다. 이미저는 장면의 이미지를 취득하도록 동작가능하고, 오토 포커스를 위해 동작가능한 조정 가능한 광학 어셈블리를 포함한다. 비행 시간 모듈은 변조 또는 펄스 광학 복사를 방출하기 위한 조명 소스, 및 조명 소스에 의해 방출되는 파장에서 장면 내의 하나 이상의 객체에 의해 반사되는 변조 또는 펄스 광학 복사를 감지하고 감지된 신호들에 기초하여 출력 신호들을 생성하도록 동작가능한 수신기를 포함한다. 하나 이상의 프로세서는 이미저에 의해 취득된 제1 이미지가 디스플레이 스크린 상에 디스플레이되도록 야기하고, 출력 신호들에 적어도 부분적으로 기초하여, 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하도록 집합적으로 동작가능하다. 이미지의 선택되는 영역이 객체를 포함하는, 디스플레이되는 이미지의 영역들 중 하나의 사용자 선택을 나타내는 입력에 응답하여, 하나 이상의 프로세서는 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리 값에 대응하는 거리에 적어도 부분적으로 기초하여 객체의 미래 위치를 추정한다. 하나 이상의 프로세서는 객체가 미래 위치에 있을 때 객체가 이미저에 대해 초점이 맞춰지도록 광학 어셈블리를 조정한다.
일부 구현예들에서, 하나 이상의 프로세서는 비행 시간 기술을 사용하여, 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하도록 집합적으로 동작가능하다. 예를 들어, 디스플레이 스크린은 사용자가 디스플레이 스크린을 터치하는 것에 응답하여 오토 포커스를 위해 사용자에 의해 선택되는 디스플레이되는 이미지의 영역의 표시를 수신하도록 동작가능한 상호작용 터치 스크린일 수 있다.
다른 양태들, 특징들, 및 장점들이 후속하는 상세 설명, 첨부 도면들, 및 청구범위들로부터 용이하게 명백해질 것이다.
도 1은 이미징 디바이스의 예를 예시한다.
도 2는 이미징 디바이스에 의해 취득된 이미지를 디스플레이하는 호스트 디바이스의 예를 예시한다.
도 3은 오토 포커스에 대한 방법의 예를 도시하는 흐름도이다.
도 4는 이미징 디바이스의 또 다른 예를 예시한다.
도 5a, 도 5b, 및 도 5c는 이미징 디바이스에 의해 취득된 이미지들의 시퀀스를 디스플레이하는 호스트 디바이스의 예를 예시한다.
본 개시내용은 개선된 오토 포커스 능력들을 갖는 이미징 기술들 및 디바이스들을 기술한다. 이미징 기술들은 장면 내의 각각의 객체 또는 지점까지의 각자의 거리가 결정될 수 있도록 장면을 능동적으로 조명하는 것 및 전체 장면에 대한 거리들을 결정하는 것을 포함한다. 따라서, 임의의 주어진 순간에 (특정 범위 내에서) 장면 내의 모든 객체들까지의 거리들이 저장될 수 있다. 사용자가 관심 있는 장면의 영역을 선택하는 것을 허용하기 위해 이미지의 프리뷰가 디스플레이될 수 있다. 예를 들어, 사용자의 선택에 응답하여, 이미저의 광학 어셈블리는 장면의 선택된 영역의 특정 거리에 있는 객체들의 최적의 이미지 캡처에 대응하는 위치로 자동적으로 조정될 수 있다.
도 1에 도시된 바와 같이, 이미징 디바이스(100)는 오토 포커스를 달성하기 위해 (예를 들어, 모터 또는 MEMs 액추에이터(MEMs actuator)와 같은 액추에이터에 의해) 위치들이 조정될 수 있는 하나 이상의 렌즈를 포함하는 광학 어셈블리(104)를 갖는 주 이미저(primary imager)(102)를 포함한다. 이미저(102)는 하나 이상의 객체(122 및 124)를 포함하는 장면(120)의 이미지들을 취득하도록 동작가능하다. 비교적 높은 해상도의 이미지들을 취득하는 것을 할 수 있기 위해 이미저(102)는 비교적 큰 수의 픽셀들(예를 들어, 30x40 픽셀들의 어레이)을 가질 수 있다. 일부 경우들에서, 이미저(102)는 CCD 또는 CMOS 센서 기술을 사용하여 구현된다.
이미징 디바이스(100)는 또한 비행 시간(time-of-flight)("TOF") 모듈(110)을 포함하고, 이는 조명 소스(112), 및 조명 소스(112)에 의해 방출되는 복사의 파장(또는 파장들의 범위)을 검출하도록 동작가능한 광학 수신기(114)를 갖는다. 따라서, 일부 경우들에서, 조명 소스(112)는 펄스 또는 다른 변조 전자기 복사(pulsed or other modulated electro-magnetic radiation)를 방출하도록 동작가능하다. 예를 들어, 일부 구현예들은 복사의 단일 펄스들이 조명 소스(112)에 의해 방출되고 수신기(114)가 펄스들의 상승 및 하강 에지들(rising and falling edges)을 검출하고 검출된 에지들에 대해 타임 스탬프들(time stamps)을 제공하는 직접 TOF 기술을 사용한다. 그러한 구현예들에서, 비행 시간은 광 펄스(light pulse)의 방출과 장면 내의 객체에 의한 반사 후의 그것의 도착 사이의 시간을 측정함으로써 결정될 수 있다.
다른 구현예들은 위상 시프트(phase shift), 또는 간접 TOF 기술을 사용할 수 있다. 예를 들어, 조명 소스(112)는 변조 적외선("IR") 복사를 방출하도록 동작가능할 수 있고, 수신기(114)는 객체들(122 및 124)에 의해 반사된 IR 복사를 검출하고 검출된 신호들을 복조하도록 동작가능한 TOF 복조 픽셀들(TOF demodulation pixels)의 어레이를 포함할 수 있다. 동작시, 조명 소스(112)에 의해 광학 어셈블리(116)를 통해 방출되는 변조 광은 장면(120)을 향한다. 장면(120)을 향하는 전체 광 파워(optical power)의 일부는 광학 어셈블리(118)를 통해 다시 TOF 모듈(110)로 반사되고, 수신기(114) 내의 복조 픽셀들에 의해 검출된다. 수신기(114) 내의 각각의 픽셀은 광학 어셈블리(114)(예를 들어, 렌즈)에 의해 수집된 충돌 광 신호(impinging light signal)를 복조하도록 동작가능하다. 복조 값들은 각각의 픽셀이 비행 시간을 계산하도록 허용하고, 이는 결국 장면(120) 내의 대응하는 지점의 거리 정보(R)에 직접 대응한다. 비행 시간은 장면(120)으로부터 반사되어 수신기(114)의 능동 픽셀들(active pixels) 상에 충돌하는 광 신호들을 복조함으로써 얻어질 수 있다. 의사 잡음 변조(pseudo-noise modulation), 펄스 변조, 또는 연속 변조(continuous modulation)와 같은 여러 가지 알려진 변조 기술들이 사용될 수 있다. 각각의 픽셀에 대한 객체까지의 거리는 이후 알려진 기술들을 사용하여 검출된 신호들에 기초하여 계산될 수 있다. 각각의 픽셀에 대한 거리 정보(또는 픽셀들의 각자의 하위 그룹들에 대한 평균 값들)는 예를 들어, 메모리(132)에 저장될 수 있다.
조명 소스(112)는 예를 들어, 발광 다이오드(LED), 적외선(IR) LED, 유기 LED(OLED), 적외선(IR) 레이저 또는 수직 공동 표면 발광 레이저(vertical cavity surface emitting laser)(VCSEL)로서 구현될 수 있다. 수신기(114)는 예를 들어, NxM 어레이 IR-민감성 픽셀들(NxM array IR-sensitive pixels)로서 구현될 수 있다. 위상 시프트, 또는 간접 TOF 기술이 사용되는 경우, 수신기(114)는 복조 픽셀들의 어레이를 포함할 수 있다. 일부 경우들에서, 어레이는 상대적으로 작지만(예를 들어, 3x3 픽셀들); 상이한 수들의 픽셀들(예를 들어, 30x40 픽셀들의 어레이)이 일부 구현예들에 대해 사용될 수 있다.
프로세싱 및 다른 로직(예를 들어, 마이크로프로세서 및/또는 다른 회로)뿐만 아니라 제어부, 디코더, 판독 회로(read-out circuitry)를 포함할 수 있는 전자 제어 유닛(electronics control unit)(ECU)(130)은 그것의 동기 검출(synchronous detection)을 가능하게 하기 위해 조명 소스(112) 및 수신기(114)의 타이밍을 제어할 수 있다. ECU(130)는 예를 들어, 본 명세서에 기술된 태스크들(tasks)을 수행하기 위해 하드웨어 로직 및/또는 소프트웨어 명령어들로 구성된 하나 이상의 프로세서 칩(예를 들어, 마이크로프로세서)으로서 구현될 수 있다. ECU(130), 이미저(102), 및 TOF 모듈(110)은 예를 들어, 호스트 디바이스 내의 인쇄 회로 기판(printed circuit board) 상에 마운트될 수 있다.
바람직하게는, 이미저(102) 및 TOF 모듈(110)의 시야(field-of-view)("FOV")는 실질적으로 서로 오버랩된다.
이미저(102) 및 TOF 모듈(110)은 적합한 파워 리소스들, 및 프로세싱 회로를 갖는 호스트 디바이스(예를 들어, 스마트폰, 이동 전화, 태블릿, 개인정보단말기(personal data assistant), 노트북 컴퓨터)에 통합될 수 있다. 사용자는 이미지를 취득하기 위해 예를 들어, 호스트 디바이스 상의 적절한 버튼을 누르거나 호스트 디바이스(200)의 상호작용 디스플레이 스크린(예를 들어, 터치 스크린)(204) 상의 적절한 아이콘 상에 탭함으로써 이미징 디바이스(100)를 작동시킬 수 있다(도 2). 이에 응답하여, 주 이미저(102)에 의해 취득된 이미지(202)의 프리뷰가 호스트 디바이스(200)의 디스플레이 스크린(204) 상에 디스플레이된다. 일부 경우들에서, 프리뷰 이미지(202)는 비교적 거칠(coarse) 수 있고 및/또는 사용자가 관심 있어 하는 프리뷰된 이미지의 부분들은 포커스가 약간 맞지 않을 수 있다. 그러나, 사용자는 포커스가 맞춰지기를 원하는 이미지의 특정 영역(또는 이미지 내의 특정 객체)을 선택할 수 있다. 사용자는 예를 들어, 관심 있는 객체 또는 영역이 디스플레이되는 디스플레이 스크린(204)의 구역을 터치함으로써 선택을 수행할 수 있다. 예를 들어, 사용자가 객체(124A)가 포커스가 맞춰지기를 원하는 경우, 사용자는 객체(124A)가 나타나는 디스플레이 스크린(204)의 구역들(A 및 B) 중 하나를 터치할 것이다.
도 2의 예시된 예시에서, 이미지(202)의 각각의 영역은 이미지에 대해 미리 계산된 거리 값들 및 저장된 값들에 기초하여 각자의 거리 값과 연관된다. 예를 들어, TOF 수신기(114)가 총 9개의 복조 픽셀들에 대한 3x3 픽셀들의 어레이를 포함한다고 가정하면, 디스플레이 스크린(204)은 동일한 개수(즉, 9개)의 영역들로 나누어질 수 있고, 영역들 각각은 픽셀들 중 각자의 픽셀과 연관된다. 따라서, 디스플레이 스크린(204)의 각각의 영역(A 내지 I)은 취득된 이미지에 대해 미리 계산 및 저장된 값들에 기초하여 각자의 거리 값과 연관된다. 일부 경우들에서, 여러 가지 영역들(A 내지 I)을 나타내는 그리드(grid)(206)가 디스플레이되는 이미지(202) 상에 중첩(overlaid)될 수 있다. 일부 구현예들에서, 이미지는 그러한 그리드 없이 디스플레이된다.
일부 경우들에서, 더 나은 해상도를 제공하기 위해, 수신기(114)는 더 많은 수의 픽셀들(예를 들어, 30x40의 어레이)을 가질 수 있다. 이미지(202)의 각각의 영역이 단일 픽셀과 연관된다면, 이미지(202)의 더 많은 수의 사용자 선택가능한 영역들이 있을 수 있다. 일부 경우들에서, 픽셀들은 오버랩되지 않는 하위 그룹들을 형성하고, 각각의 하위 그룹들은 서로 인접한 픽셀들을 포함한다. 다음으로, 이미지(202)의 각각의 영역은 픽셀들의 하위 그룹들 중 각자의 하위 그룹에 대응한다. 그러한 경우들에서, 특정 영역과 연관된 거리 값은 예를 들어, 하위 그룹 내의 모든 픽셀들에 대한 평균 거리 값일 수 있다.
오토 포커스를 위해 이미지(202)의 특정 객체 또는 구역을 선택하기 위해서, 사용자는 프리뷰된 이미지의 특정 객체 또는 구역이 나타나는 디스플레이 스크린(204)의 영역을 (예를 들어, 사용자의 손가락 또는 스타일러스(stylus)로) 터치한다. 따라서, 예를 들어, 사용자가 이미징 디바이스(100)가 객체(124A)가 포커스가 맞는 이미지를 캡처하는 것을 원한다면, 사용자는 객체(124A)가 나타나는 디스플레이 스크린(204)의 영역(A) 또는 영역(B)을 터치할 것이다. 이에 응답하여, 선택된 영역에 대해 미리 저장된 값에 대응하는 거리에 있는 장면(120) 내의 객체들이 포커스가 맞춰지도록, ECU(130)는 이미저(102) 내의 광학 어셈블리(104)의 위치를 조정하기 위해 하나 이상의 신호를 생성한다. 따라서 오토 포커스 메커니즘(105)은 사용자에 의해 선택된 디스플레이의 영역과 연관된 장면의 부분까지의 거리에 따라 광학 어셈블리(104)를 포커싱한다. 거리들은 예를 들어, 광학 어셈블리(104)에 대해 미리 세팅된 포커스 정보와 상관될(correlated) 수 있다. 포커스 정보는 예를 들어, 메모리 내의 룩업 테이블(look-up table)("LUT")(134) 내에 저장될 수 있다.
사용자가 이미지를 캡처하기 위해 이미징 디바이스(100)를 다시 작동시킬 때, 이미저(102) 내의 광학 어셈블리(104)는 장면(120)의 사용자 선택 부분에 대응하는 거리에 위치한 객체들이 포커스가 맞춰지도록 위치될 것이다. 일부 경우들에서, 사용자는 다시 한번 호스트 디바이스 상의 버튼을 누르거나 호스트 디바이스의 상호작용 디스플레이 스크린 상의 아이콘을 탭함으로써 이미징 디바이스를 재작동시킬 필요가 없을 수 있다. 대신에, 이미징 디바이스(100)는 추가의 사용자 입력에 대한 필요 없이, 광학 어셈블리(104)가 조정되자마자 오토 포커싱된 이미지를 캡처하도록 구성될 수 있다.
도 3은 일부 구현예들에 따른 방법의 흐름도이다. 블록(150)에 의해 나타나는 바와 같이, 장면은 TOF 조명 소스(112)에 의해 조명된다. TOF 수신기(114)는 장면 내의 하나 이상의 객체에 의해 반사된 광(예를 들어, IR)을 수집하고(블록(152)), 복조(또는 다른 감지) 신호들이 장면 내의 복수의 지점들에 대한 거리 값들을 결정하기 위해 사용된다(블록(154)). 주 이미저(102)는 또한 장면의 이미지를 취득한다(블록(156)). 이미저(102)에 의해 취득된 이미지는 호스트 디바이스의 상호작용 디스플레이 스크린 상에 디스플레이되고(블록(158)), 디스플레이되는 이미지의 여러 가지의 영역들 각각은 미리 계산된 거리 값들 중 하나와 연관된다(블록(160)). 사용자는 이후 예를 들어, 상호작용 디스플레이 스크린을 사용하여, 디스플레이되는 이미지의 영역들 중 하나를 선택할 수 있다(블록(162)). 이미저(102)는 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리에 대응하는 거리에 있는 객체들에 오토 포커싱하도록 광학 어셈블리(104)를 조정한다(블록(164)). 이미저(102)는 이후 디스플레이되는 이미지의 사용자 선택 영역과 연관된 거리에 대응하는 거리에 있는 객체들이 포커스가 맞춰지도록 또 다른 이미지를 캡처한다(블록(166)).
일부 경우들에서, 전술한 기술들은 콘트라스트 AF 기술들에 비해 더 신속하게 실행될 수 있고, 더 적은 계산 리소스들을 필요로 할 수 있다.
일부 구현예들에서, 오토 포커스 이미징 디바이스(100)는 (디바이스(100)로부터 측정될 때) 0.1m 내지 1.5m 범위에 걸친 장면의 거리 데이터를 수집하도록 동작가능하다. 다른 구현예들에서, 디바이스(100)는 여러 개의 픽셀들 상에 입사하는 전하들을 합산함으로써 더 큰 거리들(예를 들어, 최대 3미터 이상)에 걸쳐 거리 데이터를 수집하도록 동작가능하다.
이미징 디바이스(100)는 장면 내의 객체들이 특정 범위들의 밖에 있을 때 다른 수동 및/또는 능동 모드들로 동작가능할 수 있다. 예를 들어, TOF 조명 소스(112)는 구조화된 광 모드(structured light mode)로 스위칭하도록 동작가능할 수 있고, 장면 내의 객체들에 대한 거리 데이터는 구조화된 광을 사용하여 계산될 수 있다. 또한, 일부 동작의 모드들에서, 이미징 디바이스(100)는 콘트라스트 AF 기술을 사용하여 적절한 포커스를 결정하도록 구성될 수 있다.
본 명세서에 기술된 기술들은 스틸 이미지들(still images)에 대해서뿐만 아니라 비디오 이미지들에 대해서도 사용될 수 있다. 도 4는 객체(322)가 제1 위치로부터 제2 위치로 이동한 다음 제3 위치로 이동하는 장면(320)의 예를 예시한다. 이 예에서, 객체(322)가 제1 위치에 있을 때, 초기 이미지가 시간 t1에서 취득된다고 가정한다. 취득된 이미지는 호스트 디바이스(200)(예를 들어, 스마트폰)의 상호작용 디스플레이 스크린(204) 상에 디스플레이된다. 사용자는 예를 들어, 그의 손가락으로 또는 스타일러스로 상호작용 디스플레이 스크린(204)의 대응하는 부분을 터치함으로써 그가 포커스가 맞춰지기를 원하는 디스플레이되는 이미지(302) 내의 특정 객체를 선택할 수 있다(도 5a). 예를 들어, 객체(322)를 선택하기 위해, 사용자는 디스플레이 스크린(204) 상의 영역(I)을 터치할 것이다. ECU(130)는 이후 예를 들어, 이미저의 시야 내에서 선택된 객체(322A)의 위치를 추적하기 위해, 프레임-투-프레임 추적(frame-to-frame tracking)을 사용할 수 있다. 그 뒤의 시간 t2에서, 객체(322)가 장면(320) 내의 제2 위치에 있을 때, 또 다른 이미지가 캡처된다. 프레임-투-프레임 추적을 사용하여, ECU(130)는 추적되는 객체(322A)가 디스플레이되는 이미지(302A)의 영역(E)에서 지금 나타나는 것으로 결정할 수 있다(도 5b 참조).
이미지가 캡처될 때마다, TOF 모듈(100)은 이미지 내의 복수의 지점들에 대한 거리 데이터를 생성한다. 따라서, 디스플레이되는 이미지의 각각의 영역(A 내지 I)은 대응하는 거리 데이터와 연관되고, 이는 이미징 디바이스(100)로부터 장면(320) 내의 객체들까지의 거리를 나타낸다. ECU(130)는 객체의 실제 또는 상대 속력 및/또는 속도를 계산하기 위해 거리 측정들 사이의 시간, 및 제1 및 제2 위치들에서 측정된 객체(322)까지의 거리들을 사용할 수 있다. 이 정보는 추적되는 객체가 시간 t3에서 제3 위치에 도달할 때 이미저의 광학 어셈블리가 추적되는 객체에 대해 포커스가 맞춰지도록, 추적되는 객체(322)의 궤적 및 미래 위치를 예측하고 이미저의 광학 어셈블리(104)의 포커스를 조정하기 위해 ECU(130)에 의해 사용될 수 있다.
일부 경우들에서, 전술한 기술들은 콘트라스트 AF 기술들에 비해 더 신속하게 실행될 수 있고, 더 적은 계산 리소스들을 필요로 할 수 있다. 또한, 본 기술들이 더 빠르게 실행될 수 있기 때문에, 그것들은 디스플레이되는 이미지(들) 내의 블러(blur)의 양을 감소시키는 데 도움이 될 수 있다(시간 t3에서 디스플레이되는 이미지를 도시하는 도 5c 참조).
본 명세서에 기술된 주제 및 기능적 동작들의 여러 가지 양태들은 디지털 전자 회로에서, 또는 본 명세서에 개시된 구조들(structures) 및 그것들의 구조적 등가물들(structural equivalents)을 포함하는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어에서, 또는 그것들 중 하나 이상의 조합들에서 구현될 수 있다. 본 명세서에 기술된 주제의 실시예들은 하나 이상의 컴퓨터 프로그램 제품, 즉 데이터 프로세싱 장치에 의한 실행을 위해 또는 데이터 프로세싱 장치의 동작을 제어하기 위해 컴퓨터 판독가능 매체 상에서 인코딩되는 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로 구현될 수 있다. 컴퓨터 판독가능 매체는 머신 판독가능 스토리지 디바이스, 머신 판독가능 스토리지 기판, 메모리 디바이스, 머신 판독가능 전파 신호(propagated signal)를 발생시키는 물질의 조성, 또는 이들 중 하나 이상의 조합일 수 있다. 용어 "데이터 프로세싱 장치" 및 "컴퓨터"는 예로서 프로그램가능 프로세서, 컴퓨터, 또는 복수의 프로세서들 또는 컴퓨터들을 포함하여, 데이터를 프로세싱하기 위한 모든 장치들, 디바이스들, 및 머신들을 포함한다. 장치는 하드웨어에 더하여, 논의 중인 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트, 또는 코드로도 알려짐)은 컴파일형 또는 해석형 언어들을 포함하는, 임의의 형태의 프로그래밍 언어로 기입될 수 있고, 그것은 독립형 프로그램으로서 배치되는 것, 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에 사용하는 데 적합한 다른 유닛으로서 배치되는 것을 포함하는, 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응하지 않아도 된다. 프로그램은 다른 프로그램들 또는 데이터를 보유하는 파일의 일부(예컨대, 마크업 언어 문서 내에 저장되는 하나 이상의 스크립트)에, 논의 중인 프로그램에 전용되는 단일의 파일에, 또는 복수의 연합 파일들(예컨대, 하나 이상의 모듈, 서브 프로그램, 또는 코드의 일부를 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터에서, 또는 하나의 장소에 위치되거나 복수의 장소에 걸쳐 분산되어 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터에서 실행되도록 배치될 수 있다.
본 명세서에 기술된 프로세스들 및 논리 흐름들은 하나 이상의 컴퓨터 프로그램을 실행하여 입력 데이터에 대해 동작하고 출력을 발생시킴으로써 기능들을 수행하는 하나 이상의 프로그래밍가능 프로세서에 의해 수행될 수 있다. 프로세스들 및 로직 흐름들은 특수 목적 논리 회로, 예들 들어, FPGA(필드 프로그래밍가능 게이트 어레이) 또는 ASIC(주문형 집적 회로)에 의해 또한 수행될 수 있고, 장치는 그것들로서 또한 실시될 수 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서들은, 예를 들어, 범용 및 특수 목적 마이크로프로세서들 둘 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 본질적인 요소들은 명령어들을 수행하는 프로세서, 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 디바이스이다. 컴퓨터는 또 다른 디바이스, 몇 개만 예를 들면, 이동 전화 또는 개인용 정보 단말기(PDA)에 내장될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하는 데 적합한 컴퓨터 판독가능 매체는 예를 들어 반도체 메모리 디바이스들, 예컨대, EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크, 예컨대, 내장 하드 디스크들 또는 이동식 디스크들; 자기 광학 디스크; 및 CD ROM 및 DVD-ROM 디스크들을 포함하는, 비휘발성 메모리, 매체 및 메모리 디바이스들의 모든 형태들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나, 그것에 포함될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에 기술된 주제의 실시예들은 정보를 사용자에게 표시하기 위한 디스플레이 디바이스, 예컨대, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터, 및 사용자가 입력을 컴퓨터에 제공할 수 있게 하는 키보드 및 포인팅 디바이스, 예컨대, 마우스 또는 트랙볼을 갖는 컴퓨터 상에서 구현될 수 있다. 사용자와의 상호작용을 제공하기 위한 다른 종류의 디바이스들이 또한 사용될 수 있다; 예를 들어, 사용자에 제공되는 피드백은 임의의 형태의 감각 피드백, 예컨대 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있고; 사용자로부터의 입력이 음향, 음성, 또는 촉각 입력을 포함하는, 임의의 형태로 수신될 수 있다.
본 명세서가 많은 세부사항을 포함하지만, 이들은 본 발명 또는 청구될 수 있는 것의 범위에 대한 제한들로 이해되어서는 안되며, 오히려 본 발명의 특정 실시예들에 특정한 특징들의 설명으로서 이해되어야 한다. 개별 실시예들과 관련하여 본 명세서에 기술된 특정 특징들은 또한 단일의 실시예로 조합되어 구현될 수 있다. 반대로, 단일의 실시예와 관련하여 기술된 여러 가지 특징들이 또한 복수의 실시예들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 또한, 특징들이 특정 조합들로 작용하는 것으로 상기 기술될 수 있고 심지어 그와 같이 초기에 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징은 일부 경우들에 그러한 조합으로부터 제거될 수 있으며, 청구된 조합은 하위 조합 또는 하위 조합의 변형을 가리킬 수 있다.
유사하게, 동작들이 특정 순서로 도면들에 도시되지만, 이것이 바람직한 결과들을 달성하기 위해 그러한 동작들이 도시된 특정 순서 또는 순차적 순서로 수행되어야 한다거나, 모든 예시된 동작들이 수행되어야 할 것을 필요로 하는 것으로서 이해되어서는 안 된다. 특정 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 상기 기술된 실시예들 내의 여러 가지 시스템 컴포넌트들의 분리가 모든 실시예들 내에서의 그러한 분리를 요구하는 것으로 이해되어서는 안 되며, 기술된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 복수의 소프트웨어 제품들로 패키징될 수 있는 것으로 이해되어야 한다.
따라서, 여러 가지 수정들이 전술한 예시들에 이루어질 수 있으며, 다른 구현예들이 청구 범위들의 범위 내에 있다.

Claims (17)

  1. 이미지를 생성하는 방법으로서,
    디스플레이 스크린 상에 제1 이미지를 디스플레이하는 단계 - 디스플레이되는 이미지의 복수의 영역들 각각은 각자의 거리 값과 연관됨 -;
    변조 또는 펄스 광학 복사 신호들(modulated or pulsed optical radiation signals)을 장면을 향해 방출하는 단계 - 상기 복사 신호들은 파장을 가짐;
    비행 시간 수신기(time-of-flight receiver)에 의해, 상기 파장에서 상기 장면 내의 하나 이상의 객체에 의해 반사되는 상기 변조 또는 펄스 광학 복사 신호들을 감지하는 단계;
    감지되는 신호들에 기초하여 출력 신호들을 생성하는 단계;
    상기 출력 신호들에 적어도 부분적으로 기초한 광학 비행 시간 기술(optical time-of-flight technique)을 사용하여 상기 제1 이미지의 상기 영역들 각각에 대한 상기 각자의 거리 값을 계산하는 단계;
    상기 디스플레이되는 이미지의 상기 복수의 영역들 중 하나의 사용자 선택(user-selection)을 나타내는 입력을 수신하는 단계;
    사용자 입력을 수신하는 것에 응답하여, 이미저(imager)가 상기 디스플레이되는 이미지의 사용자 선택 영역과 연관된 상기 각자의 거리 값에 대응하는 거리에 있는 하나 이상의 객체 상에 포커스를 맞추도록 상기 이미저의 광학 어셈블리(optical assembly)의 위치를 조정하는 단계; 및
    상기 디스플레이되는 이미지의 상기 사용자 선택 영역과 연관된 거리에 대응하는 거리에 있는 상기 하나 이상의 객체가 상기 이미저에 대해 포커스가 맞춰져 있는 동안에, 추가 사용자 입력 없이 상기 이미저에 의해 제2 이미지를 취득하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 사용자 선택을 나타내는 입력을 수신하는 단계는 상기 이미지의 상기 선택 영역이 나타나는 상기 디스플레이 스크린의 구역을 사용자가 터치하는 것을 나타내는 신호를 수신하는 단계를 포함하는, 방법.
  3. 제1항에 있어서, 상기 광학 어셈블리의 위치를 조정하는 단계는 메모리 내의 룩업 테이블(look-up table) 내에 저장되는 조정량에 적어도 부분적으로 기초하고, 상기 조정량은 상기 디스플레이되는 이미지의 상기 사용자 선택 영역과 연관된 상기 거리에 대응하는, 방법.
  4. 장치로서,
    디스플레이 스크린을 포함하고 사용자 입력을 수신하도록 동작가능한 호스트 디바이스;
    이미징 디바이스; 및
    하나 이상의 프로세서
    를 포함하고,
    상기 이미징 디바이스는,
    장면의 이미지를 취득하도록 동작가능한 이미저 - 상기 이미저는 오토 포커스를 위해 동작가능한 조정 가능한 광학 어셈블리를 포함함 -; 및
    변조 또는 펄스 광학 복사를 방출하기 위한 조명 소스, 및 상기 조명 소스에 의해 방출되는 파장에서 상기 장면 내의 하나 이상의 객체에 의해 반사되는 상기 변조 또는 펄스 광학 복사의 적어도 일부를 감지하고, 상기 변조 또는 펄스 광학 복사의 적어도 일부를 감지하는 것에 응답하여 출력 신호들을 생성하도록 동작가능한 수신기를 포함하는 비행 시간 모듈
    을 포함하고,
    상기 하나 이상의 프로세서는,
    상기 이미저에 의해 취득되는 제1 이미지가 상기 디스플레이 스크린 상에 디스플레이되도록 야기하고;
    상기 출력 신호들에 적어도 부분적으로 기초하여, 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하고;
    상기 디스플레이되는 이미지의 상기 복수의 영역들 중 하나의 사용자 선택을 나타내는 입력에 응답하여, 상기 디스플레이되는 이미지의 사용자 선택 영역과 연관된 상기 각자의 거리 값에 대응하는 거리에 있는 하나 이상의 객체가 상기 이미저에 대해 포커스가 맞춰지도록 상기 광학 어셈블리의 위치를 조정하도록
    집합적으로 동작가능하고,
    상기 이미저는, 상기 디스플레이되는 이미지의 상기 사용자 선택 영역과 연관된 거리에 대응하는 거리에 있는 상기 하나 이상의 객체가 상기 이미저에 대해 포커스가 맞춰져 있는 동안에, 추가 사용자 입력 없이 제2 이미지를 취득하도록 동작가능한, 장치.
  5. 제4항에 있어서, 상기 하나 이상의 프로세서는 비행 시간 기술을 사용하여 상기 디스플레이되는 이미지의 상기 복수의 영역들 각각에 대한 상기 각자의 거리 값을 계산하도록 집합적으로 동작가능한, 장치.
  6. 제4항에 있어서, 상기 디스플레이 스크린은 상기 사용자가 상기 디스플레이 스크린을 터치하는 것에 응답하여 오토 포커스를 위해 상기 사용자에 의해 선택되는 상기 디스플레이되는 이미지의 상기 영역의 표시를 수신하도록 동작가능한 상호작용 터치 스크린인, 장치.
  7. 이미지를 생성하는 방법으로서,
    디스플레이 스크린 상에 제1 이미지를 디스플레이하는 단계 - 디스플레이되는 이미지의 복수의 영역들 각각은 각자의 거리 값과 연관됨 -;
    상기 디스플레이되는 이미지의 상기 영역들 중 하나의 사용자 선택을 나타내는 입력을 수신하는 단계 - 상기 이미지의 선택 영역은 객체를 포함함 -;
    상기 디스플레이되는 이미지의 사용자 선택 영역과 연관된 상기 각자의 거리 값에 대응하는 거리에 적어도 부분적으로 기초하여 상기 객체의 미래 위치(future position)를 추정하는 단계; 및
    상기 추정하는 단계에 응답하여, 상기 객체가 상기 미래 위치에 있을 때 상기 객체가 포커스가 맞춰지도록, 이미저의 광학 어셈블리를 조정하는 단계
    를 포함하는, 방법.
  8. 제7항에 있어서,
    상기 이미저에 의해, 상기 객체가 상기 미래 위치에 있을 때 제2 이미지를 취득하는 단계
    를 더 포함하는, 방법.
  9. 제7항에 있어서,
    광학 비행 시간 기술에 기초하여, 디스플레이되는 상기 제1 이미지의 상기 영역들 각각에 대한 상기 각자의 거리 값을 계산하는 단계
    를 포함하는, 방법.
  10. 제9항에 있어서,
    변조 또는 펄스 광학 복사 신호들을 장면을 향해 방출하는 단계;
    비행 시간 수신기에 의해, 상기 장면 내의 하나 이상의 객체에 의해 반사되는 상기 변조 또는 펄스 광학 복사 신호들을 감지하는 단계;
    감지되는 신호들에 기초하여 출력 신호들을 생성하는 단계; 및
    상기 출력 신호들에 적어도 부분적으로 기초하여 상기 제1 이미지의 상기 영역들 각각에 대한 상기 각자의 거리 값을 계산하는 단계
    를 더 포함하는, 방법.
  11. 제7항 또는 제8항에 있어서, 상기 사용자 선택을 나타내는 입력을 수신하는 단계는 상기 이미지 내의 상기 객체가 나타나는 상기 디스플레이 스크린의 구역을 사용자가 터치하는 것을 나타내는 신호를 수신하는 단계를 포함하는, 방법.
  12. 장치로서,
    디스플레이 스크린을 포함하고 사용자 입력을 수신하도록 동작가능한 호스트 디바이스;
    이미징 디바이스; 및
    하나 이상의 프로세서
    를 포함하고,
    상기 이미징 디바이스는,
    장면의 이미지를 취득하도록 동작가능한 이미저 - 상기 이미저는 오토 포커스를 위해 동작가능한 조정 가능한 광학 어셈블리를 포함함 -; 및
    변조 또는 펄스 광학 복사를 방출하기 위한 조명 소스, 및 상기 조명 소스에 의해 방출되는 파장에서 상기 장면 내의 하나 이상의 객체에 의해 반사되는 상기 변조 또는 펄스 광학 복사의 적어도 일부를 감지하고, 상기 변조 또는 펄스 광학 복사의 적어도 일부를 감지하는 것에 응답하여, 감지되는 신호들에 기초하여 출력 신호들을 생성하도록 동작가능한 수신기를 포함하는 비행 시간 모듈
    을 포함하고,
    상기 하나 이상의 프로세서는,
    상기 이미저에 의해 취득되는 제1 이미지가 상기 디스플레이 스크린 상에 디스플레이되도록 야기하고;
    상기 출력 신호들에 적어도 부분적으로 기초하여, 디스플레이되는 이미지의 복수의 영역들 각각에 대한 각자의 거리 값을 계산하고;
    상기 디스플레이되는 이미지의 상기 영역들 중 하나의 사용자 선택을 나타내는 입력에 응답하여 - 상기 디스플레이되는 이미지의 선택되는 영역은 객체를 포함함 -, 상기 디스플레이되는 이미지의 사용자 선택 영역과 연관된 상기 거리 값에 대응하는 거리에 적어도 부분적으로 기초하여, 상기 객체의 미래 위치를 추정하고;
    상기 객체가 상기 미래 위치에 있을 때 상기 객체가 상기 이미저에 대해 포커스가 맞춰지도록 상기 광학 어셈블리의 조정을 야기하도록
    집합적으로 동작가능한, 장치.
  13. 제12항에 있어서, 상기 하나 이상의 프로세서는 비행 시간 기술을 사용하여 상기 디스플레이되는 이미지의 상기 복수의 영역들 각각에 대한 상기 각자의 거리 값을 계산하도록 집합적으로 동작가능한, 장치.
  14. 제12항에 있어서, 상기 디스플레이 스크린은 상기 사용자가 상기 디스플레이 스크린을 터치하는 것에 응답하여 오토 포커스를 위해 상기 사용자에 의해 선택되는 상기 디스플레이되는 이미지의 상기 영역의 표시를 수신하도록 동작가능한 상호작용 터치 스크린인, 장치.
  15. 삭제
  16. 삭제
  17. 삭제
KR1020187009890A 2015-09-11 2016-09-13 오토 포커스 제어를 갖는 이미징 디바이스들 KR102611080B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562217300P 2015-09-11 2015-09-11
US62/217,300 2015-09-11
PCT/SG2016/050443 WO2017044049A1 (en) 2015-09-11 2016-09-13 Imaging devices having autofocus control

Publications (2)

Publication Number Publication Date
KR20180053333A KR20180053333A (ko) 2018-05-21
KR102611080B1 true KR102611080B1 (ko) 2023-12-08

Family

ID=58240381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187009890A KR102611080B1 (ko) 2015-09-11 2016-09-13 오토 포커스 제어를 갖는 이미징 디바이스들

Country Status (6)

Country Link
US (2) US10261287B2 (ko)
EP (1) EP3347755A4 (ko)
KR (1) KR102611080B1 (ko)
CN (1) CN108351489B (ko)
TW (1) TWI706181B (ko)
WO (1) WO2017044049A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置
US10412362B2 (en) * 2017-07-27 2019-09-10 Qualcomm Incorporated Active alignment correction for optical systems
WO2019132777A1 (en) * 2017-12-27 2019-07-04 Ams Sensors Singapore Pte. Ltd. Optoelectronic modules and methods for operating the same
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit
TWI675248B (zh) * 2018-04-09 2019-10-21 文曄科技股份有限公司 攝像裝置
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
CN108989687A (zh) * 2018-09-07 2018-12-11 北京小米移动软件有限公司 摄像头对焦方法及装置
WO2020072484A1 (en) * 2018-10-01 2020-04-09 Nikon Corporation An auxiliary focus measurement for a laser radar 3d scanner
JP6828069B2 (ja) * 2019-02-18 2021-02-10 キヤノン株式会社 撮像装置、撮像方法およびプログラム
KR20200100498A (ko) 2019-02-18 2020-08-26 삼성전자주식회사 전자 장치 및 그 전자 장치의 자동 초점 제어 방법
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
KR20210058363A (ko) * 2019-11-14 2021-05-24 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그의 방법
US12028611B1 (en) * 2021-06-09 2024-07-02 Apple Inc. Near distance detection for autofocus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
KR101173471B1 (ko) * 2005-06-23 2012-08-14 펜탁스 리코 이메징 가부시키가이샤 오토 포커스 기능을 가진 촬영장치
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US20150002664A1 (en) * 2012-01-07 2015-01-01 Johnson Controls Gmbh Camera Arrangement For Measuring Distance

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
JP5671345B2 (ja) * 2007-12-21 2015-02-18 レッダーテック インコーポレイテッド 検出及び測距方法
CN102027412B (zh) * 2008-05-19 2013-09-04 佳能株式会社 图像拾取系统和透镜装置
TWI388204B (zh) * 2009-05-15 2013-03-01 Hon Hai Prec Ind Co Ltd 拍攝系統及使用該拍攝系統進行輔助構圖的方法
US20110187878A1 (en) * 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
DE102010041390B4 (de) * 2010-07-28 2017-12-07 pmdtechnologies ag Lichtlaufzeitkamera mit Signalpfadüberwachung
EP2448246B1 (en) * 2010-10-28 2019-10-09 Axis AB Method for focusing
EP2469295A1 (en) * 2010-12-23 2012-06-27 André Borowski 3D landscape real-time imager and corresponding imaging methods
JP5834410B2 (ja) * 2011-01-13 2015-12-24 株式会社リコー 撮像装置および撮像方法
US9813607B2 (en) * 2011-12-16 2017-11-07 Nokia Technologies Oy Method and apparatus for image capture targeting
TWI471630B (zh) * 2012-06-01 2015-02-01 Hon Hai Prec Ind Co Ltd 主動式距離對焦系統及方法
US8761594B1 (en) * 2013-02-28 2014-06-24 Apple Inc. Spatially dynamic illumination for camera systems
JP5962637B2 (ja) * 2013-11-29 2016-08-03 株式会社デンソー 計測装置
US9538065B2 (en) * 2014-04-03 2017-01-03 Qualcomm Incorporated System and method for multi-focus imaging
US9451155B2 (en) * 2014-07-30 2016-09-20 Apple Inc. Depth-segmenting peak tracking autofocus
US9648236B2 (en) * 2015-02-19 2017-05-09 Blackberry Limited Device with a front facing camera having discrete focus positions
US9638791B2 (en) * 2015-06-25 2017-05-02 Qualcomm Incorporated Methods and apparatus for performing exposure estimation using a time-of-flight sensor
TWI706181B (zh) * 2015-09-11 2020-10-01 新加坡商海特根微光學公司 具有自動對焦控制的成像裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101173471B1 (ko) * 2005-06-23 2012-08-14 펜탁스 리코 이메징 가부시키가이샤 오토 포커스 기능을 가진 촬영장치
US20080131019A1 (en) * 2006-12-01 2008-06-05 Yi-Ren Ng Interactive Refocusing of Electronic Images
US20120120277A1 (en) * 2010-11-16 2012-05-17 Apple Inc. Multi-point Touch Focus
US20130057655A1 (en) 2011-09-02 2013-03-07 Wen-Yueh Su Image processing system and automatic focusing method
US20150002664A1 (en) * 2012-01-07 2015-01-01 Johnson Controls Gmbh Camera Arrangement For Measuring Distance

Also Published As

Publication number Publication date
US10663691B2 (en) 2020-05-26
TWI706181B (zh) 2020-10-01
EP3347755A1 (en) 2018-07-18
US10261287B2 (en) 2019-04-16
EP3347755A4 (en) 2019-10-02
WO2017044049A1 (en) 2017-03-16
US20190271828A1 (en) 2019-09-05
KR20180053333A (ko) 2018-05-21
CN108351489A (zh) 2018-07-31
US20180252894A1 (en) 2018-09-06
TW201719219A (zh) 2017-06-01
CN108351489B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
KR102611080B1 (ko) 오토 포커스 제어를 갖는 이미징 디바이스들
CN106911888B (zh) 一种装置
US20170353649A1 (en) Time of flight ranging for flash control in image capture devices
US10306131B2 (en) Focus detection apparatus and control method therefor
EP2530442A1 (en) Methods and apparatus for thermographic measurements.
US10962631B2 (en) Method for operating a laser distance measuring device
US10163222B2 (en) Image capturing apparatus, tracking device, control method, and storage medium
JPWO2017213052A1 (ja) 測距システム及び測距方法
EP3040754B1 (en) Imaging device, method, and program
US9648223B2 (en) Laser beam scanning assisted autofocus
US10877238B2 (en) Bokeh control utilizing time-of-flight sensor to estimate distances to an object
KR20180078596A (ko) Af 방법 및 이를 수행하는 전자 장치
JP6467516B2 (ja) 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
KR102610830B1 (ko) 거리 정보를 획득하는 방법 및 디바이스
JP2012015642A (ja) 撮像装置
US20210270969A1 (en) Enhanced depth mapping using visual inertial odometry
JP7436509B2 (ja) 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2010187184A (ja) 被写体追尾装置および撮像装置
JP2017134561A (ja) 画像処理装置、撮像装置および画像処理プログラム
US8988663B2 (en) Laser range finding
GB2485997A (en) Camera using a Single Photon Avalanche Diode (SPAD) array
WO2022181097A1 (ja) 測距装置およびその制御方法、並びに、測距システム
JP6679430B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2021067649A (ja) 移動量推定装置、移動量推定方法、移動量推定プログラム、及び移動量推定システム
US20240027589A1 (en) Range finding device and control method therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant