KR20170126900A - 연속 오토 포커스 (caf) 를 위한 시스템 및 방법 - Google Patents

연속 오토 포커스 (caf) 를 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20170126900A
KR20170126900A KR1020177025081A KR20177025081A KR20170126900A KR 20170126900 A KR20170126900 A KR 20170126900A KR 1020177025081 A KR1020177025081 A KR 1020177025081A KR 20177025081 A KR20177025081 A KR 20177025081A KR 20170126900 A KR20170126900 A KR 20170126900A
Authority
KR
South Korea
Prior art keywords
image
region
camera
difference
size
Prior art date
Application number
KR1020177025081A
Other languages
English (en)
Other versions
KR102580474B1 (ko
Inventor
판 덩
레이 마
렁 춘 찬
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20170126900A publication Critical patent/KR20170126900A/ko
Application granted granted Critical
Publication of KR102580474B1 publication Critical patent/KR102580474B1/ko

Links

Images

Classifications

    • H04N5/23212
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/571Depth or shape recovery from multiple images from focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H04N5/2253
    • H04N5/23293
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/61Scene description
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

연속 오토 포커스 (CAF) 을 위한 시스템 및 방법이 개시되어 있다. 일부 양태들에서, 포커싱될 오브젝트는 카메라의 시야로부터 선택된다. 오브젝트를 포함하는 시야의 적어도 하나의 영역은 변경을 위해 모니터링된다. 오브젝트를 포함하지 않는 시야의 영역들은 모니터링되지 않을 수도 있고, 따라서 효율성 및 속도를 향상시킨다. 모니터링된 영역(들)의 이미지 컨텐츠의 변경이 발생하는 경우, 방법은 포커스 이벤트를 트리거할 수 있다. 오브젝트가 시야의 상이한 영역(들)으로 이동하는 경우, 방법은 이동을 감지하고, 그리고 오브젝트에 대한 포커스를 유지하도록 모니터링되는 이미지의 영역들을 조절한다. 일부 양태들에서, 오브젝트의 크기도 또한 모니터링된다. 오브젝트의 크기가 변경되는 경우, 변경량이 미리결정된 파라미터들을 초과하는지 여부에 따라 포커스 이벤트가 트리거될 수 있다.

Description

연속 오토 포커스 (CAF) 를 위한 시스템 및 방법{SYSTEMS AND METHODS FOR CONTINUOUS AUTO FOCUS (CAF)}
본 출원은 일반적으로 촬상 시스템에 관한 것으로, 보다 구체적으로는 연속 오토 포커스를 위한 추적 오브젝트에 관한 것이다.
오토 포커스 시스템은 오브젝트에 포커스를 맞추기 위해 렌즈 엘리먼트와 이미지 센서 사이의 거리를 자동으로 조절한다. 이러한 시스템 중 대부분은 포커싱되는 이미지 내의 고주파수 컨텐츠를 기반으로 최상의 포커스를 결정한다. 예를 들어, 고주파수 컨텐츠를 최대화하는 렌즈 위치는 최상의 콘트라스트 비를 갖는 이미지를 나타낼 수 있으며, 따라서 최상의 포커스를 나타낼 수 있다. 하지만, 기존의 오토 포커스 시스템은 오브젝트가 카메라를 기준으로 이동할 때 포커스를 잃을 수 있다. 따라서, 이동하는 오브젝트에 포커스를 지속적이고 자동으로 유지하는 시스템 및 방법이 필요하다.
본 개시의 샘플 양태의 요약이 뒤따른다. 편의상, 본 개시의 하나 이상의 양태들은 본원에서 간단히 "일부 양태들"이라고 지칭될 수 있다.
본원에 개시된 방법 및 장치 또는 디바이스는 각각 몇 가지 양태를 가지며, 그 중 하나만이 그 바람직한 속성을 단독으로 담당하지는 않는다. 이하 청구항들에 의해 표현되는 것과 같은 범위를 제한하지 않고, 더 중요한 특징들이 이제 간략하게 개시될 것이다. 이러한 논의를 고려한 후에, 그리고 특히 "상세한 설명"으로 명명된 섹션을 읽은 후에, 연속적인 오토 포커스를 위한 추적 오브젝트의 허용을 포함하는 이점을 설명된 피쳐들이 어떻게 제공하는지 이해할 수 있다.
하나의 양태는 카메라를 포커싱하는 방법이다. 다양한 실시형태에서, 방법은 장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 단계를 포함할 수 있다. 방법은 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 단계를 더 포함할 수 있다. 방법은 제 2 이미지에서 제 1 오브젝트의 제 2 크기를 결정하는 단계를 더 포함할 수 있다. 방법은 제 1 크기와 제 2 크기 간의 차이에 기초하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 제 1 경계 영역이 제 1 이미지 내의 제 1 오브젝트를 포함한다고 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 2 경계 영역이 제 2 이미지 내의 제 1 오브젝트를 포함한다고 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 1 경계 영역과 제 2 경계 영역 사이의 차이에 기초하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 제 1 경계 영역의 면적과 제 2 경계 영역의 면적 사이의 차이에 기초하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 제 2 경계 영역의 면적과 제 1 경계 영역의 면적 사이의 비율을 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 크기 감소 임계치보다 작은 비율 또는 크기 증가 임계치를 초과하는 비율에 기초하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 그 차이가 영역 차이 임계치를 초과하는 경우 카메라를 포커싱하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 그 차이가 영역 차이 임계치를 초과하지 않는 경우 카메라의 포커스를 유지하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 제 1 및 제 2 이미지를 복수의 대응하는 영역들로 분할하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 1 오브젝트를 포함하는 제 1 이미지 내의 제 1 영역 및 제 2 이미지 내의 대응하는 제 2 영역을 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 1 영역 및 제 2 영역 내의 이미지 컨텐츠들 간의 제 1 차이를 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 이미지 컨텐츠의 제 1 차이에 기초하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 카메라를 포커싱할 때 고려대상으로부터, 제 1 오브젝트를 포함하지 않는 것으로 결정된 복수의 영역들의 영역들을 제외하는 단계를 더 포함할 수 있다.
일부 구현예에 있어서, 방법은 제 2 이미지 내의 제 3 영역이 제 1 오브젝트를 포함한다고 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 2 시간 이후인 제 3 시간에 오브젝트의 제 3 이미지를 캡처하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 3 영역에 대응하는 제 3 이미지 내의 제 4 영역을 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 제 3 영역 및 제 4 영역 내의 이미지 컨텐츠들 간의 제 2 차이를 결정하는 단계를 더 포함할 수 있다. 일부 구현예에 있어서, 방법은 이미지 컨텐츠의 제 2 차이에 대응하여 카메라를 포커싱하는 단계를 더 포함할 수 있다.
또 다른 형태는 촬상 장치이다. 촬상 장치는 장면의 제 1 및 제 2 이미지를 순차적으로 캡처하도록 구성된 카메라를 포함할 수 있다. 촬상 장치는 카메라와 통신하는 프로세서를 포함할 수 있다. 프로세서는 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하도록 구성될 수 있다. 프로세서는 또한 제 2 이미지에서 제 1 오브젝트의 제 2 크기를 결정하도록 구성될 수 있다. 촬상 장치는 제 1 크기와 제 2 크기의 차이에 기초하여 카메라를 포커싱하도록 구성된 카메라 제어기를 포함할 수 있다.
일부 구현예에 있어서, 프로세서는 또한 제 1 경계 영역이 제 1 이미지 내의 제 1 오브젝트를 포함한다고 결정하도록 구성될 수 있다. 일부 구현예에 있어서, 프로세서는 또한 제 2 경계 영역이 제 2 이미지 내의 제 1 오브젝트를 포함한다고 결정하도록 구성될 수 있다. 일부 구현예에 있어서, 프로세서는 제 1 경계 영역과 제 2 경계 영역 사이의 차이에 기초하여 카메라를 포커싱하도록 구성될 수 있다.
일부 구현예에 있어서, 카메라 제어기는 또한 제 1 경계 영역의 면적과 제 2 경계 영역의 면적 사이의 차이에 기초하여 카메라를 포커싱하도록 구성될 수 있다.
일부 구현예에 있어서, 프로세서는 또한 제 2 경계 영역의 면적과 제 1 경계 영역의 면적 사이의 비율을 결정하도록 구성될 수 있다. 일부 구현예에 있어서, 카메라 제어기는 크기 감소 임계치보다 작은 비율 또는 크기 증가 임계치를 초과하는 비율에 기초하여 카메라를 포커싱하도록 구성될 수 있다.
일부 구현예에 있어서, 카메라 제어기는 또한 그 차이가 영역 차이 임계치를 초과하는 경우 카메라를 포커싱하도록 구성된다. 일부 구현예에 있어서, 카메라 제어기는 그 차이가 영역 차이 임계치를 초과하지 않는 경우 카메라의 포커스를 유지하도록 구성된다.
일부 구현예에 있어서, 프로세서는 또한 제 1 및 제 2 이미지를 복수의 대응하는 영역들로 분할하도록 구성된다. 일부 구현예에 있어서, 프로세서는 또한, 제 1 오브젝트를 포함하는 제 1 이미지 내의 제 1 영역 및 제 2 이미지 내의 대응하는 제 2 영역을 결정하도록 구성된다. 일부 구현예에 있어서, 프로세서는 또한 제 1 영역 및 제 2 영역 내의 이미지 컨텐츠들 간의 제 1 차이를 결정하도록 구성된다. 일부 구현예에 있어서, 카메라 제어기는 또한 이미지 컨텐츠의 제 1 차이에 기초하여 카메라를 포커싱하도록 구성된다.
일부 구현예에 있어서, 프로세서는 또한 카메라를 포커싱할 때 고려대상으로부터, 제 1 오브젝트를 포함하지 않는 것으로 결정된 복수의 영역들의 영역들을 제외하도록 구성된다.
일부 구현예에 있어서, 프로세서는 또한 제 2 이미지 내의 제 3 영역이 제 1 오브젝트를 포함한다고 결정하도록 구성된다. 일부 구현예에 있어서, 프로세서는 또한 제 2 시간 이후인 제 3 시간에 오브젝트의 제 3 이미지를 캡처하도록 구성된다. 일부 구현예에 있어서, 프로세서는 또한 제 3 영역에 대응하는 제 3 이미지에서 제 4 영역을 결정하도록 구성되고, 프로세서는 또한 제 3 영역 및 제 4 영역 내의 이미지 컨텐츠들 간의 제 2 차이를 결정하도록 구성되고, 그리고 카메라 제어기는 또한 이미지 컨텐츠의 제 2 차이에 대응하여 카메라를 포커싱하도록 구성된다.
또 다른 형태는 촬상 장치이다. 장치는 장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 수단을 포함할 수 있다. 장치는 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 수단을 포함할 수 있다. 장치는 제 2 이미지에서 제 1 오브젝트의 제 2 크기를 결정하는 수단을 포함할 수 있다. 장치는 제 1 크기와 제 2 크기 간의 차이에 기초하여 캡처 수단을 포커싱하는 수단을 포함할 수 있다.
일부 구현예에 있어서, 캡처 수단은 카메라를 포함할 수 있다. 일부 구현예에 있어서, 제 1 크기 결정 수단은 프로세서를 포함할 수 있다. 일부 구현예에 있어서, 제 2 크기 결정 수단은 프로세서를 포함할 수 있다. 일부 구현예에 있어서, 포커싱 수단은 카메라 제어기를 포함할 수 있다.
또 다른 양태는 카메라를 포커싱하기 위한 명령을 저장하는 비일시적 컴퓨터 판독가능 매체이며, 명령이 실행될 때 명령들은 방법을 수행한다. 방법은 장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 단계를 포함할 수 있다. 방법은 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 단계를 포함할 수 있다. 방법은 제 2 이미지에서 제 1 오브젝트의 제 2 크기를 결정하는 단계를 포함할 수 있다. 방법은 제 1 크기와 제 2 크기 간의 차이에 기초하여 카메라를 포커싱하는 단계를 포함할 수 있다.
도 1은 장면의 이미지들을 기록할 수 있는 촬상 시스템을 포함하는 장치 (예를 들어, 이동 통신 디바이스) 의 예를 도시한다.
도 2는 연속 오토 포커스를 위한 오브젝트를 추적하는 촬상 시스템의 실시형태의 예를 나타낸 블록도이다.
도 3은 연속 오토 포커스를 위한 방법의 예를 나타낸 흐름도이다.
도 4는 3 개의 상이한 시간에, 즉 오브젝트에 포커싱한 후, 오브젝트가 이동하기 전, 그리고 오브젝트가 새로운 위치로 이동한 후에 모니터 영역 내의 오브젝트를 포함하는 장면을 나타낸다.
도 5는 제 1 이미지에서 제 1 모니터 영역의 제 1 위치로부터 제 2 이미지에서 제 2 모니터 영역의 제 2 위치로 이동하는 오브젝트를 나타내는데, 이 경우 모니터 영역에서의 변화는 포커스 이벤트는 물론 모니터 영역에서의 스위치도 트리거한다.
도 6은 오브젝트의 제 1 크기와 비교하여 상이한 크기 비율로 경계 박스 내의 오브젝트를 나타내며, 이 경우 크기 비율의 변화가 경계 박스 비율 감소 임계치보다 작을 때 트리거되거나 또는 크기 비율의 변화가 경계 박스 비율 증가 임계치를 초과할 때 트리거된다.
도 7은 본원에 기재된 실시형태에 따른 연속 오토 포커스를 위한 프로세스의 방법을 나타내는 흐름도이다.
다음의 상세한 설명은 본 발명의 소정의 특정 실시형태에 관한 것이다. 그러나, 본 발명은 다수의 상이한 방식으로 구현될 수 있다. 본원의 양태들은 매우 다양한 형태들로 구현될 수 있고, 본원에 개시되는 임의의 특정 구조, 기능 또는 이 둘 모두는 단지 대표적인 것임이 명백해야 한다. 본원의 교시들에 기초하여, 본원에 개시된 양태가 임의의 다른 양태들과 무관하게 구현될 수 있고 이들 양태들 중 2 이사이 다양한 방식으로 조합될 수 있다는 것을 당업자는 이해해야 한다. 예를 들어, 본원에 제시된 임의의 개수의 양태들을 이용하여 장치가 구현될 수도 있거나 또는 방법이 실시될 수도 있다. 또한, 이러한 장치는 본원에 제시되는 양태들 중 하나 이상의 양태에 부가하여 또는 그 외에 다른 구조, 기능, 또는 구조와 기능을 사용하여 이러한 장치가 구현될 수 있거나 이러한 방법이 실시될 수 있다.
또한, 본원에 기재된 시스템 및 방법은 카메라를 호스팅하는 다양한 다른 컴퓨팅 디바이스에서 구현될 수 있다. 이들은 휴대 전화, 태블릿, 전용 카메라, 웨어러블 컴퓨터, 개인용 컴퓨터, 사진 부스 또는 키오스크, 개인용 정보 단말기, 울트라 모바일 개인용 컴퓨터 및 모바일 인터넷 디바이스를 포함한다. 이들은 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성을 사용할 수 있다. 본 발명과 함께 사용하기에 적합할 수 있는 컴퓨팅 시스템, 환경 및/또는 구성의 예들은 퍼스널 컴퓨터, 서버 컴퓨터, 핸드 헬드 또는 랩톱 디바이스, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 프로그램가능한 가전 제품, 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 상기 시스템 또는 디바이스 중 임의의 것을 포함하는 분산 컴퓨팅 환경 등을 포함할 수 있다.
오토 포커스 시스템은 렌즈 엘리먼트와 이미지 센서 사이의 상이한 거리에서 포커스 파라미터를 측정하고 포커스 파라미터를 최적화하는 거리를 선택한다. 예를 들어, 인-포커스 이미지는 통상적으로 아웃-포커스 이미지보다 높은 주파수 콘텐츠를 갖기 때문에, 포커스 파라미터는 시야의 일부분에서 고주파 컨텐츠의 측정치일 수 있다. 기존의 시스템은 시야의 일부분에 기초하여 포커스 파라미터를 결정함으로써 전체 시야의 포커스 파라미터를 측정하는 계산 부하를 감소시킨다. 상기 부분은 시야의 중심 영역, 사용자에 의해 선택된 영역 또는 오브젝트를 포함하는 영역일 수 있다. 오브젝트는 자동으로 (예를 들어, 자동 얼굴 인식을 사용하여) 감지되거나 사용자에 의해 선택될 수 있다. 중심 시야, 사용자에 의해 선택된 영역, 자동 감지된 오브젝트를 포함하는 영역, 또는 사용자에 의해 선택된 오브젝트를 포함하는 영역 중 어느 것이든, 시야의 이 부분에 대한 포커스 측정치는 렌즈 엘리먼트 및 이미지 센서 사이의 상이한 차이들에서 계산되고, 포커스 파라미터를 최적화하는 거리가 선택된다. 제어기는 최적의 포커스 파라미터를 사용하여 렌즈를 거리까지 이동시켜 이미지를 포커싱한다. 하지만, 기존의 오토 포커스 시스템은 오브젝트가 이동할 때 포커스를 잃을 수 있다.
오브젝트는 오토 포커스 시스템에 의해 모니터링되는 시야의 일부분 내에서 이동하거나, 또는 오토 포커스 시스템에 의해 모니터링되지 않는 시야의 일부분으로 이동할 수 있다. 횡방향 이동 이외에도, 오브젝트는 카메라에 가까울수록 더 크게 보이거나 카메라에서 멀어질수록 더 작게 보인다. 이러한 각 이벤트들로 오브젝트가 포커스를 잃게 될 수도 있다. 따라서, 본원에 개시된 연속 오토 포커스 시스템은 오브젝트가 이동할 때 포커스 이벤트를 트리거할 수 있다.
포커싱될 수 있는 오브젝트는 터치스크린을 사용하여 선택되거나 이미지 처리 및 패턴 인식 기술을 사용하여 자동으로 결정될 수 있다. 오브젝트는 경계 박스 또는 볼록 선체와 같은 인클로저에 인클로징될 수 있다. 일반적으로 오브젝트를 포함하는 작은 사각형 모양의 경계 박스는 포커스 파라미터를 측정하기 위해 사용될 수 있다. 경계 박스는 최소의 경계 박스일 수 있다. 일부 양태들에서, 경계 박스의 측면들은 이미지의 행들 및 열들과 정렬될 수 있다.
연속 오토 포커스 시스템은 그의 시야를 비중첩 모니터 영역으로 분할할 수 있다. 예를 들어, 일부 구현예는 4 행 및 4 열 (4x4) 로 이루어지는 모니터 영역을 가질 수 있다. 일부 구현예에서, 행 및 열의 수는 2x2, 3x3, 4x4, 8x8, 16x16과 같거나, 일부 다른 구현예에서 모니터 영역은 비대칭일 수 있고, 예를 들어 2x4 또는 4x2로 배열될 수 있다. 연속 오토 포커스 시스템은 전체 시야를 모니터링하는 대신에 포커스 파라미터를 결정하기 위해 이들 영역의 서브세트를 모니터링할 수 있다. 일부 구현예는 예를 들어, 1, 2, 3, 또는 4 개의 영역을 측정할 수 있다. 12 개의 영역을 갖는 구현예에서, 예를 들어, 하나의 영역만 모니터링되는 경우에는, 시야 중 1/12 만 모니터링된다.
개시된 연속 오토 포커스 시스템은 먼저 오브젝트를 포함할 수 있는 모든 영역의 서브세트를 식별할 수 있다. 일부 구현예에 있어서, "오브젝트 포함"은 하나의 영역에만 오브젝트가 포함될 수 있다는 것으로 정의될 수 있다. 이러한 구현예는, 예를 들어, 오브젝트의 중심, 경계 영역의 중심, 임의의 다른 영역보다 오브젝트의 면적의 큰 부분, 또는 임의의 다른 영역보다 경계 영역의 면적의 큰 부분 중 하나를 포함하는 것으로서, 오브젝트 포함을 정의할 수 있다. 일부 구현예에 있어서, "오브젝트 포함"은 하나 초과의 영역에 오브젝트가 포함될 수 있다는 것으로 정의될 수 있다. 이러한 구현예는, 예를 들어, 오브젝트의 일부분 또는 경계 영역의 일부분 중 하나를 포함하는 것으로서 오브젝트 포함을 정의할 수 있다.
오브젝트를 포함할 수 있는 모든 영역의 서브세트를 식별한 후에, 개시된 시스템은 서브세트에 대한 포커스 파라미터를 사용하여 오브젝트를 포커싱한다. 서브세트에 없는 다른 영역들은 카메라를 포커싱하는 경우 고려대상에서 제외될 수 있다. 일단 포커싱되면, 연속 오토 포커스 시스템은 포커싱된 프레임에 대한 서브세트 내의 영역들을 후속하는 이미지들 내의 대응하는 영역(들)과 비교한다. 차이가 있을 때, 예를 들어 차이가 임계치를 초과하는 경우, 연속 오토 포커스 시스템은 포커스 이벤트를 트리거할 수 있다. 오브젝트가 모니터링된 영역들의 현재 서브세트에 있지 않은 다른 영역으로 이동하는 경우, 연속 오토 포커스 시스템은 영역들의 서브세트에 새로운 영역을 포함할 수 있다. 부가하여, 모니터링되는 영역들의 서브세트에서 다른 영역들을 제거할 수 있다. 포커스 이벤트는 또한, 오브젝트가 다른 영역으로 이동하는 경우 트리거될 수도 있다.
일부 양태들에서, 단일 영역이 모니터링될 수 있다. 이러한 양태들에서, 오브젝트가 하나 초과의 영역에 걸쳐있는 경우, 오브젝트에 대한 모니터링된 영역은 오브젝트 중심을 갖는 영역, 경계 박스의 중심을 갖는 영역, 또는 오브젝트의 가장 큰 퍼센티지를 갖는 영역, 또는 오브젝트의 경계 박스/인클로저의 가장 큰 퍼센티지를 갖는 영역 등의 기준에 기초하여 할당될 수 있다.
연속 오토 포커스 시스템은 이전 포커스 이벤트 이후에 대상의 크기를 추적할 수 있다. 예를 들어, 오브젝트가 카메라에 가까워지거나 또는 멀어지는 경우, 크기가 달라질 수 있다. 오브젝트의 크기는 각 이미지 내에서 직접 측정될 수 있으며, 즉 오브젝트 자체의 경계 윤곽 (boundary outline) 에 기초하여 측정될 수 있다. 대안으로, 오브젝트에 대한 경계 박스/인클로저의 크기는 오브젝트의 상대적 크기를 추정하는데 사용될 수 있다. 경계 박스의 면적에서의 변화는 이전 포커스 이벤트 이후의 오브젝트 크기의 변화의 추정치로서 사용될 수 있다. 일부 구현예에서, 연속 오토 포커스 시스템은 최종 포커스 이벤트 이후의 비율 또는 퍼센티지 변화를 사용한다.
따라서, 일부 구현예는 오브젝트의 이미지의 크기가 변할 때, 모니터링되고 있는 영역(들)에 변화가 있을 때, 즉 오브젝트가 위치하는 영역(들)에 변화가 있을때, 또는 모니터링되는 영역(들)의 이미지 컨텐츠에 변화가 있을 때, 오브젝트 이동에 대한 포커스를 향상시키기 위해 포커스 이벤트를 트리거한다. 포커스는 또한 기존 시스템보다 효율적으로 달성될 수 있으며 계산 효율성이 보다 향상된다.
도 1은 장면의 이미지들을 기록할 수 있는 촬상 시스템을 포함하는 장치 (100) (예를 들어, 이동 통신 디바이스) 의 예를 도시한다. 장치 (100) 는 디스플레이 (120) 를 포함한다. 장치 (100) 는 또한 도시되지 않은 장치의 뒷면에 카메라를 포함할 수 있다. 디스플레이 (120) 는 카메라의 시야 (130) 내에 캡처된 이미지를 디스플레이할 수 있다. 장치 (100) 내의 프로세싱 로직은 시야 (130) 를 영역 경계 (140) 를 갖는 복수의 영역으로 분할할 수 있다. 도 1 은 시야 (130) 내의 오브젝트 (150), 사람을 나타낸다. 오브젝트 (150) 는 또한 영역 (145) 내에 있다. 장치 (100) 내의 프로세싱 로직은 오브젝트 (150) 를 검출하고 오브젝트 (150) 를 둘러싸는 경계 영역을 결정할 수 있다. 일부 양태들에서, 결정된 영역은 다각형 또는 사각형일 수 있다. 도시된 바와 같이, 장치 (100) 내의 프로세싱 로직은 오브젝트 (150) 를 둘러싸는 경계 영역 (바운딩 박스) (160) 을 결정한다. 이 예에서, 경계 박스 (160) 는 시야 (130) 를 구성하는 쵤상 엘리먼트의 행 및 열과 정렬된다. 일부 양태들에서, 경계 영역은 오브젝트 (150) 를 둘러싸기에만 충분하도록 클 수 있으며, 따라서 최소의 경계 박스가 될 수 있다.
도 2는 도 1에 도시된 장치 (100) 의 일 실시형태의 내부 블록도이다. 장치 (100) 는 카메라 (110), 디스플레이 (120), 사용자 입력 디바이스 (240), 전자 프로세서 (250) 및 전자 메모리 (260) 를 포함한다. 프로세서 (250) 는 디스플레이 (120), 카메라 (110), 사용자 입력 디바이스 (240), 및 메모리 (260) 에 동작가능하게 연결된다. 카메라 (110) 는 렌즈 (210), 카메라 제어기 (220), 및 촬상 센서 (230) 를 포함한다. 카메라 제어기 (220) 및 촬상 센서는 프로세서 (250) 와 통신한다.
이미지 센서 (이미지 센서, 센서) (230) 는 센서 (230) 의 해상도에 의해 제한된 공간 해상도로 이미지를 캡처한다. 센서 (116) 는, 각 이미지 프레임에 대한 노광 기간 동안 각 픽셀에서의 입사광의 세기를 결정하는, 반도체 기술을 사용할 수 있는 픽셀 엘리먼트들 (픽셀들) 의 행 및 열을 포함할 수 있고, 예컨대 전하 결합 디바이스 (CCD) 또는 상보형 금속 산화물 반도체 (CMOS) 기술이 있다. 일부 실시형태에서, 입사광은 컬러 이미지들을 얻기 위해 하나 이상의 스펙트럼 범위로 필터링될 수 있다. 예를 들어, 센서 (116) 상의 베이어 필터 모자이크는 적색, 녹색 및 청색 필터를 사용하여 풀 컬러의 3 밴드 이미지를 캡처하는 광을 필터링할 수 있다.
카메라 제어기 (230) 는 동작가능하게, 포커싱을 위한 렌즈 (210) (또는 적어도 하나의 렌즈 엘리먼트에서의) 의 이동을 제어하고, 개구의 크기 및/또는 노출 (및/또는 노출 기간) 제어를 위해 개구가 얼마나 길게 개방되어 있는지를 제어하고, 및/또는 센서 (230) 특성 (예를 들어, 이득) 을 제어할 수 있다.
메모리 (260) 는 기능을 수행하도록 프로세서 (250) 를 구성하는 프로세서 명령을 저장할 수 있다. 예를 들어, 명령은 카메라 (110) 를 사용하여 하나 이상의 이미지를 캡처하고 디스플레이 (120) 상에 캡처된 이미지를 디스플레이하도록 프로세서를 구성할 수 있다. 명령은 또한, 본원에 논의된 촬상 프로세싱 방법을 포함하여, 다양한 이미지 프로세싱 업무를 프로세서 (250) 가 수행하도록 구성할 수 있다.
일부 실시형태에서, 프로세서 (160) 는 아래 도 3에 도시된 흐름도의 블록들과 관련된 기능을 수행 (또는 처리) 할 수 있다. 예를 들어, 프로세서 (250) 는 오브젝트 선택 (310) 기능, 오브젝트 포커싱 (320) 기능, 오브젝트가 있는 영역 모니터링 (330) 기능, 영역(들) 내의 이미지가 변경되었는지 결정하는 기능 (340), 오브젝트 위치 추적 (350) 기능, 오브젝트 영역(들)이 변경되었는지 결정하는 (360) 기능, 영역(들) 변경 기능, 오브젝트 크기 추적 (380) 기능, 및/또는 오브젝트 크기가 변경되었는지 결정하는 (390) 기능을 수동하도록 구성될 수 있다. 일부 양태들에서, 프로세서는 메모리 (260) 에 저장된 명령들에 의해 구성되어, 도 7 과 관련하여 이하에서 논의되는 하나 이상의 기능들을 수행할 수 있다.
디스플레이 (120) 는 프로세서 (160) 로부터 디스플레이 (120) 로 통신되는 이미지를 디스플레이하도록 구성된다. 일부 구현예에서, 디스플레이 (120) 는 사용자 피드백, 예를 들어 선택된 프레임 세그먼트를 나타내는 터치-투-포커스를 위한 주석을 디스플레이한다. 일부 구현예에서, 디스플레이 (120) 는 사용자 입력을 촉구하는 메뉴를 디스플레이한다.
사용자 입력 디바이스 (240) 는 사용자 입력을 수용하도록 구성된다. 일부 구현예에서, 사용자 입력 디바이스 (240) 는 디스플레이 (120) 에 포함된 터치 스크린이다. 일부 구현예에서, 터치 스크린 (240) 은 사용자로부터 멀티 터치 입력을 수용한다. 일부 구현예에서, 메모리 (260) 의 명령은 이미지 내의 영역을 선택하는 사용자 입력 디바이스 (240) 로부터 프로세서가 입력을 수용하도록 구성할 수 있다. 선택된 영역은 카메라가 포커싱하도록 사용자가 원하는 오브젝트를 포함할 수 있다. 일부 구현예에서, 복수의 영역들은 디스플레이 (120) 상에 디스플레이된 이미지 상에 중첩될 수 있다. 사용자 입력 디바이스 (240) 는 중첩된 영역들 중 하나를 선택하는 입력을 수신할 수 있다. 선택된 영역은 이후 카메라 (110) 의 포커스를 결정하기 위해 프로세서 (250) 에 의해 사용될 수 있다.
도 3은 연속 오토 포커스를 위한 방법 (300) 의 예를 나타낸 흐름도이다. 블록 (310) 에서, 방법 (300) 은 오브젝트를 선택한다. 방법 (300) 은 오브젝트를 자동 또는 수동으로 선택할 수 있다. 일부 양태들에서, 프로세서 (250) 는 이미지 내의 복수의 강도 값들에 기초한 오브젝트 감지 또는 오브젝트 인식 시스템을 사용하여 오브젝트를 자동으로 선택할 수 있다. 일부 구현예에서, 프로세서 (250) 는 얼굴 인식 기술을 사용하여 오브젝트를 식별할 수 있다. 오브젝트를 자동으로 식별하기 위해 취해진 접근법은 사용자 입력 디바이스 (240) 를 통해 사용자가 선택할 수 있는 애플리케이션 또는 콘텍스트에 의존할 수 있다.
일부 양태들에서, 오브젝트의 선택은 사용자 입력 디바이스 (240) 로부터 수신된 입력에 기초할 수 있다. 예를 들어, 위에서 논의된 바와 같이, 사용자는 사용자 입력 디바이스 (240) 를 사용하여 오브젝트 또는 이미지 영역을 선택할 수 있다. 일부 양태들에서, 입력은 오브젝트를 실질적으로 둘러싸는 경계 박스의 모서리를 지정할 수 있다. 사용자가 이미지의 영역을 선택할 수 있게 하는 구현예에서, 프로세서 (250) 는 이후 블록 (310) 에서 오브젝트를 선택하기 위해 선택된 영역 내에서 오브젝트 감지를 수행할 수 있다.
블록 (315) 에서, 방법 (300) 은 오브젝트에 대한 모니터 영역을 결정한다. 일부 양태들에서, 촬상 센서의 시야는 복수의 영역들로 분할될 수 있다. 이들 영역 중 하나 이상은 선택된 오브젝트에 대한 모니터 영역(들)로서 선택될 수 있다. 전술한 바와 같이, 모니터링된 영역(들)은 선택된 오브젝트의 전부 또는 상당 부분을 포함할 수 있다. 일부 양태들에서, 방법 (300) 은, 예를 들어, 하나 이상의 선택된 영역들 내에서 선택된 오브젝트 주위에 경계 영역을 생성함으로써 오브젝트를 둘러쌀 수 있다. 일부 양태들에서, 경계 영역은 최소의 경계 박스일 수 있고, 및/또는 다각형 또는 사각형과 같은 형상일 수 있다. 일부 양태들에서, 경계 영역은 이미지의 행들 및 열들과 정렬될 수 있다.
블록 (320) 에서, 방법 (300) 은 카메라를 오브젝트에 포커싱한다. 일부 양태들에서, 카메라는 블록 (315) 에서 결정된 모니터 영역(들)에 기초하여 오브젝트에 포커싱된다. 예를 들어, 모니터 영역들의 이미지 컨텐츠는 카메라를 포커싱하기 위해 평가될 수 있다. 일 실시형태에서, 블록 (320) 에서, 방법 (300) 은 상이한 포커스 평면 거리를 통해 단계들로 진행하고, 상이한 포커스 평면 거리들 각각에서 모니터링된 영역들의 포커스 파라미터를 측정하고, 그리고 포커스 파라미터를 카메라에 포커싱하는 포커스 평면으로 최적화하는 포커스 평면 거리를 선택한다. 예를 들어, 포커스 파라미터는 특정 포커스 거리에서 고주파수 콘텐츠를 측정할 수 있다. 일부 양태들에서, 카메라는 블록 (315) 및/또는 블록 (370) (후술함) 에서 결정된 현재 모니터링되는 영역들의 일부가 아닌 하나 이상의 영역들을 고려하지 않고 블록 (320) 에서 포커싱될 수 있다. 이미지의 일부 영역들은 카메라의 최적 포커스 위치 결정과 관련된 계산 오버헤드를 줄이기 위해 고려대상에서 제외될 수 있다. 처리될 필요가 있는 이미지 데이터의 양을 감소시킴으로써, 오토 포커스는 보다 신속하고 효율적으로 수행될 수 있다.
블록 (330) 에서, 방법 (300) 은 오브젝트를 포함하는 영역(들)의 이미지 컨텐츠를 모니터링한다. 상술한 바와 같이, 방법 (300) 은 캡처된 이미지를 비중첩 영역으로 분할할 수 있다. 이들 영역 중 하나 이상은 블록 (310) 에서 선택된 오브젝트의 위치에 기초하여 모니터링하기 위해 선택될 수 있다. 다른 영역들은 모니터링에서 제외될 수 있다.
결정 블록 (340) 에서, 영역 내의 이미지가 변경되면, 카메라는 블록 (320) 에서 오브젝트에 리포커싱된다. 일부 양태들에서, 영역이 블록 (340) 에서 변경되었는지 여부는, 변경된 이미지 컨텐츠의 양을 임계치와 비교한 것에 기초할 수 있다. 예를 들어, 변경된 픽셀의 수가 임계치를 초과하는 경우, 영역의 이미지 컨텐츠는 결정 블록 (340) 의 일부 구현예에서 변경된 것으로 간주된다. 일부 양태는 현재 이미지와 이전 포커스가 적용되는 이미지 사이의 차이 이미지를 결정할 수 있다. 블록 (320) 에 의해 이미지가 리포커스를 보장하기에 충분하게 변경되었는지 여부를 결정하기 위해 차이 이미지의 절대 값이 합산되고 그 합이 영역 차이 임계치와 비교될 수 있다. 일부 양태들에서, 절대 값 함수는 차이 값을 제곱한 것과 같은 다른 함수에 의해 대체될 수 있다. 일부 실시형태에서, 방법 (300) 은 노출 또는 포커스 값과 같은 하나 이상의 센서 (230) 정보 통계의 차이를 결정한다. 일부 실시형태에서, 글로벌 모션 (즉, 지터로부터의 글로벌 모션) 이 리포커스를 트리거하기 때문에, 이미지를 등록할 필요가 없다. 모니터링된 영역(들)의 이미지가 실질적으로 (또는 임계치 이상으로) 변경되지 않았다고 결정 블록 (340) 이 결정하면, 방법 (300) 은 블록 (330) 으로 리턴하고, 추가적으로 순차적으로 캡처된 이미지를 통해 영역(들)을 계속 모니터링한다.
블록 (350) 은 상술한 복수의 영역들 내에서 선택된 오브젝트의 위치를 추적한다. 선택된 오브젝트의 위치를 추적하는 것은 대응하는 일련의 이미지 프레임에서 오브젝트의 현재 위치를 나타내는 일련의 출력을 생성하는 것을 포함할 수 있다. 이 일련의 출력들은 결정 블록 (360) 에 의해 평가될 수 있는데, 이는 후술한다.
블록 (350) 은 구현예에 따라 다양한 방법을 사용하여 복수의 영역 내의 오브젝트의 위치를 추적할 수 있다. 예를 들어, 일부 구현예에서, 오브젝트의 위치는 오브젝트의 계산된 중심에 기초할 수 있다. 오브젝트의 중심을 보유하고 있는 어떤 영역이든 이 구현예에서 모니터링되는 영역이다. 이 구현예에서 모든 다른 지역이 모니터링되지 않을 수도 있다.
다른 양태들은 다수의 영역을 추적할 수 있다. 예를 들어, 일부 양태들에서, 오브젝트의 적어도 일부를 포함하는 모든 영역 또는 오브젝트를 경계짓는 영역이 모니터링될 수 있다. 오브젝트의 부분을 포함하지 않는 영역 (또는 오브젝트를 경계짓는 영역) 은 이러한 구현예에서 모니터링되지 않을 수 있다.
다른 구현예에서, 오브젝트에 대한 일련의 경계 영역은 대응하는 일련의 이미지 프레임에 대해 결정될 수 있다. 경계 영역들의 중심점들을 사용하여 오브젝트가 어느 영역(들)에 배치되는지를 결정할 수 있다. 예를 들어, 중심이 새로운 영역에 진입하면, 오브젝트를 포함하는 영역(들)은 중심이 위치하는 영역을 포함하도록 조절될 수 있다. 다른 영역들은, 예를 들어, 이들 영역들이 선택된 오브젝트의 임의의 부분을 더 이상 포함하지 않는 경우, 오브젝트를 포함하는 영역(들)의 세트로부터 제거될 수 있다.
선택된 오브젝트의 크기는 또한 오브젝트를 포함하도록 결정된 영역들에 영향을 줄 수 있다. 예를 들어, 선택된 오브젝트가 카메라 (110) 쪽으로 이동하면, 카메라 (110) 의 시야 내에서 더 커질 수 있고 시야 (130) 의 더 많은 영역(들)을 포함할 수 있다. 이 경우에, 오브젝트를 포함하는 영역(들)은 새로운 영역들을 포함하도록 조절될 수 있다. 대안으로, 선택된 오브젝트가 카메라 (110) 로부터 멀리 이동하면, 그것은 이전의 이미지 프레임들보다 적은 영역들에 포함될 수 있다. 따라서, 일부 구현예들에서, 오브젝트를 포함하도록 결정된 영역(들)은 선택된 오브젝트의 임의의 부분을 더 이상 포함하지 않는 영역을 제거하도록 조절될 수 있다. 다른 구현예들에서, 오브젝트가 더 멀리 이동함에 따라, 오브젝트를 경계짓는 영역의 중심 및/또는 중심점이 영역들을 변경할 수 있다.
결정 블록 (360) 은, 모니터링 블록 (330) 에 의해 생성된 출력에 기초하여 오브젝트의 위치가 다른 영역으로 변경되었는지를 결정한다. 블록 (330) 에 의해 생성된 현재 오브젝트 영역들이 변경을 나타내는 경우, 모니터링된 영역들은 블록 (370) 에서 업데이트될 수 있다. 일부 양태들에서, 블록 (370) 은 오브젝트를 포함하도록 결정된 영역 블록 (350) 과 일치하도록 모니터링된 영역들의 세트를 업데이트한다. 따라서, 블록 (370) 에서는, 블록 (370) 에서, 예를 들어 선택된 오브젝트의 임의의 부분을 더 이상 포함하지 않으면 하나 이상의 다른 영역이 모니터된 영역(들)의 세트로부터 제거될 수 있고, 오브젝트의 중심이 새 영역 또는 경계 영역의 중심이 새 영역으로 이동했다. 전술한 바와 같이, 영역들은 오브젝트의 중심의 위치, 오브젝트를 실질적으로 둘러싸는 경계 영역의 중심점에 기초하여, 또는 오브젝트의 적어도 일부분을 포함하는 영역들에 기초하여, 구현예에 기초하여, 블록 (370) 에서 모니터링된 영역들의 세트에 추가될 수 있다.
오브젝트가 현재 모니터링된 영역들 내에 계속 존재한다고 결정 블록 (360) 이 결정하면, 방법 (300) 은 블록 (350) 으로 리턴하고, 추가적으로 순차적으로 캡처된 이미지들을 통해 오브젝트의 위치를 계속 추적한다.
블록 (380) 에서, 방법 (300) 은 오브젝트 크기를 추적한다. 오브젝트의 크기는 구현예에 따라 다양한 방법을 사용하여 결정될 수 있다. 일부 실시형태에서, 방법 (300) 은 오브젝트를 둘러싸는 경계 영역의 면적, 예컨대 오브젝트를 둘러싸는 최소의 경계 박스를 추적한다. 크기는 경계 영역의 면적을 기준으로 한다. 일부 양태들에서, 크기는 예를 들어 오브젝트에 포함되는 픽셀들의 수 또는 이미지 엘리먼트들의 수에 기초하여 오브젝트 자체의 실제 크기에 기초하여 결정된다.
결정 블록 (390) 에서, 방법 (300) 은 오브젝트 크기가 이전 포커스 이벤트와 현재 이미지 프레임간에 변경되었는지 여부를 결정한다. 일부 실시형태들에 대해, 이전에 포커싱된 이미지 프레임에서 이전 크기 측정에 비해 크기 증가 임계치 초과하여 오브젝트의 크기가 증가하면, 방법 (300) 은 블록 (320) 으로 이동함으로써 포커스 이벤트를 트리거한다. 크기 증가 임계치는 1.01 , 1.05, 1.1, 1.15, 1.2, 1.25, 1.3, 1.35, 1.4 또는 그 사이의 임의의 임계치일 수 있다. 예를 들어, 1.2의 임계치는 이전 포커스 이벤트 이후 20% 증가된 크기에 해당할 수 있다. 일부 실시형태에 대해, 오브젝트의 크기가 크기 감소 임계치 초과하여 감소하면, 방법 (300) 은 블록 (320) 으로 이동함으로써 포커스 이벤트를 트리거한다. 예를 들어, 일부 구현예에서, 크기 감소 임계치는 0.85 일 수 있고, 이는 마지막 포커스 이벤트 이후 크기의 면적에서의 15% 감소에 대응한다. 다른 구현예들은 .99, .95, 9, .8, .75, .7 의 크기 감소 임계치 또는 이러한 값들 사이의 임의의 크기 감소 임계치를 이용할 수 있다. 오브젝트의 크기가 실질적으로 (또는 상술한 바와 같이 임계치 이상으로) 변경되지 않았다고 결정 블록 (390) 이 결정하면, 방법 (300) 은 블록 (380) 으로 리턴하고, 추가적으로 순차적으로 캡처된 이미지들에서의 오브젝트의 크기를 이전 포커스 이벤트에서의 오브젝트의 크기와 비교함으로써 오브젝트의 크기를 계속 추적한다.
도 3은 블록들 (330, 350, 및 380) 의 병렬 동작을 나타낸다. 다른 구현예들에서, 이들 동작들은 순차적으로 또는 상이한 순서로 수행될 수 있다. 하나의 포커스 트리거가 포커스 동작을 개시하기에 충분하기 때문에, 포커스 동작동안 영역(들)을 모니터링하고, 오브젝트 위치를 추적하고, 오브젝트 크기를 추적할 필요가 없을 수도 있다.
일부 구현예에서, 방법 (300) 이 더 이상 선택된 오브젝트를 식별할 수 없다면 (예를 들어, 오브젝트가 시야에서 벗어나거나 오브젝트가 너무 작아서 추적될 수 없는 경우), 프로세스 (300) 는 블록 (310) 으로 리턴하여, 그곳에서 새로운 오브젝트를 선택할 수 있다.
도 4는 3개의 상이한 시간에, 즉 오브젝트 (150) 에 포커싱한 후, 오브젝트 (450a) 가 이동하기 전, 그리고 오브젝트 (450b) 가 이동한 후에 모니터 영역 (145) 내의 오브젝트 (150/450a/450b) 를 포함하는 장면을 나타낸다. 오브젝트 (150) 는 오브젝트를 포커싱한 이후 위치 (151) 에서 시작한다. 오브젝트 (450a) 로 나타낸 동일한 오브젝트는 이동하기 전에 위치 (151) 에 남아있게 된다. 오브젝트 (450b) 로 나타낸 동일한 오브젝트는 위치 (152) 로 이동한다. 오브젝트 (450a) 가 위치 (151) 에 머물러 있는 동안 영역 (145) 의 이미지는 변경되지 않았기 때문에, 오브젝트는 포커스를 유지하고 프로세서 (250) 는 포커스 이벤트를 트리거하지 않았다. 그러나, 오브젝트가 위치 (151) 에서 위치 (152) 로 이동하면, 영역 (145) 의 이미지가 변경되었다. 이미지 컨텐츠의 차이가 이미지 차이 임계치를 초과하므로 이러한 변화는 포커스 이벤트를 트리거하였다.
도 5는 제 1 이미지에서 제 1 모니터 영역의 제 1 위치로부터 제 2 이미지에서 제 2 모니터 영역의 제 2 위치로 이동하는 오브젝트를 나타내는데, 이 경우 모니터 영역에서의 변화는 포커스 이벤트는 물론 모니터 영역에서의 스위치도 트리거한다. 도 5는 장면에 오브젝트 (150) 의 2개의 이미지들을 도시한다. 포커스 후, 중심점 (170) 을 갖는 경계 박스 (160) 의 오브젝트 (150) 는 모니터 영역 (145) 에 있다. 후속하는 이미지에서, 오브젝트 (150) 는 화살표 (180) 를 따라 모니터 영역 (545) 으로 이동한다. 이 제 2 이미지는 오브젝트 (154) 이며, 이것은 장면에서 동일한 사람에 대응한다. 이러한 제 2 이미지는 중심점 (174) 을 갖는 경계 박스 (164) 에 오브젝트 (154) 를 도시한다. 경계 박스의 중심점 (174) 은 영역 (545) 에 있기 때문에, 연속 오토 포커스 시스템은 영역 (145) 으로부터 영역 (545) 으로 모니터 영역들을 스위칭할 수 있고 포커스 이벤트를 트리거할 수 있다.
도 6은 선택된 오브젝트 (150) 의 크기의 변화가 포커스 이벤트를 트리거할 수 있는 방법을 도시한다. 도 6에서, 오브젝트들 (150a-g) 은 다양한 크기로 묘사된 동일한 오브젝트로서 도시된다. 오브젝트들 (150a-g) 각각은 대응하는 경계 박스 (660a-g) 에 의해 둘러싸여 있다. 오브젝트 (150d) 는 시작 크기 (또는 위치) 를 나타낸다. 이 예에서, 카메라는 초기에 오브젝트 (150d) 에 포커싱될 수 있다. 오브젝트 (150d) 에 대한 초기 포커스는 해시 마크 (620) 로 표시된다. 오브젝트 (150d) 의 오른쪽에 있는 오브젝트, 즉 150e-g 는 오브젝트 (150d) 보다 상대적으로 크고, 오브젝트 (150d) 의 왼쪽에 있는 오브젝트, 즉 150a-c는 오브젝트 (150d) 보다 상대적으로 작다.
일부 구현예들에서, 오브젝트 (150d) 의 크기가 (예를 들어, 오른쪽 위치로 나타낸, 즉 오브젝트 (150e-g)) 크기를 변화시킴에 따라, 일부 구현예는 오브젝트 (150d) 와 예를 들어 오브젝트 (150e) 의 크기 사이의 크기 비율을 결정할 수 있다. 일부 양태들에서, 크기 비율은 서브젝트 (150d 및 150e) 자체의 면적에 기초한다. 다른 양태들에서, 크기 비율은 경계 박스들 (660d 및 660e) 의 면적의 비율에 기초한다. 일부 양태들에서, 크기 또는 비율의 변화가 임계치보다 클 때, 도 4 및 블록 (380 및 390) 과 관련하여 상술한 바와 같이 포커스 이벤트가 트리거된다.
도 6에서, 오브젝트 (150e) 가 오브젝트 (150d) 보다 더 크지만, 크기는 도시된 구현예에서 크기 임계치를 초과하기에 충분하지 않다. 따라서, 오브젝트들 (150d 및 150e) 사이의 크기 변화는 포커스 이벤트를 트리거하지 않는다. 그러나, 오브젝트가 오브젝트 (150f) 로 표현된 바와 같이 더 크기가 증가하면, 오브젝트 (150d) 와 오브젝트 (150f) 사이의 크기 차이가 크기 증가 임계치를 초과하고, 포커스 이벤트가 트리거된다. 이것은 해시 마크 (630) 로 표시된다. 오브젝트의 크기가 150f 에서 150g 로 더 커지면, 어떠한 포커스 이벤트도 트리거되지 않는다. 이것은 오브젝트 (150f) 와 오브젝트 (150g) 의 크기 사이의 크기 비율이 도시된 구현예에서 사용된 크기 비율보다 작기 때문일 수 있다. 크기 비율은 마지막 포커스 이벤트가 수행되었을 때의 오브젝트의 크기에 기초함에 유의한다. 따라서, 해시 마크 (620) 에 의해 나타내지는 바와 같이, 오브젝트 (150d) 가 포커스 이벤트가 적용되는 마지막 오브젝트이기 때문에, 오브젝트 (150e) 의 크기 및 오브젝트 (150f) 의 크기는 모두 오브젝트 (150d) 의 크기와 비교된다. 대조적으로, 오브젝트 (150g) 의 크기는, 해시 마크 (640) 에 의해 나타내지는 바와 같이 포커스가 적용되는 마지막 오브젝트였기 때문에 오브젝트 (150f) 의 크기와 비교된다.
오브젝트의 크기가 작아지면 유사한 처리가 사용된다. 예를 들어, 오브젝트 (150d) 가 오브젝트 (150c) 에 의해 표현된 크기로 크기가 변경되면, 오브젝트 (150d) 와 오브젝트 (150c) 의 크기 사이의 크기 비율이 결정될 수 있다. 이 차이는 크기 감소 임계치와 비교될 수 있으며, 차이가 임계치를 초과하는 경우, 포커스 이벤트가 트리거될 수 있다. 이 예에서 오브젝트 (150d) 와 오브젝트 (150c) 사이의 해시 마크가 없는 것에 기초하여, 150d 에서 150c 로의 변경에 기초하여 어떠한 이벤트도 트리거되지 않는다. 마찬가지로, 오브젝트 (150d) 와 오브젝트 (150b) 사이의 크기 차이가 예시적인 구현의 크기 임계치를 여전히 초과하지 않기 때문에, 150c 에서 150b 로의 크기의 추가 감소는 여전히 포커스 이벤트를 초래하지 않는다. 그러나, 오브젝트가 오브젝트 (150a) 로 표현된 바와 같이 더 크기가 감소하면, 오브젝트 (150a) 와 오브젝트 (150d) 사이의 차이는 크기 임계치를 초과하고, 해시 마크 (610) 로 나타낸 바와 같이, 포커스 이벤트가 트리거된다. 크기 증가 및 크기 감소 모두가 크기 차이와 임계치 사이의 비교를 초래할 수 있지만, 각 경우마다 상이한 임계치가 사용될 수 있음에 유의한다. 예를 들어, 일부 구현예들은 포커스 이벤트를 트리거하기 위해서 10% 크기 증가, 또는 1.1의 비율을 사용할 수도 있고, 포커스 이벤트를 트리거하기 위해서 8% 크기 감소, 또는 0.92의 비율을 사용할 수도 있다. 다른 구현예들은 크기 증가 및 감소 모두에 대해 유사한 임계치를 사용할 수 있다. 예를 들어, 일부 구현예는 포커스 이벤트를 트리거하기 위해 9% 크기 증가 또는 감소를 사용할 수 있다.
도 7은 본원에 기재된 실시형태에 따른 연속 오토 포커스의 방법 (700) 을 나타내는 흐름도이다. 일부 양태들에서, 도 2의 메모리 (260) 에 저장된 명령들은 방법 (700) 의 기능을 수행하도록 프로세서 (250) 를 구성한다. 일부 양태들에서, 방법 (700) 및 도 3 의 방법 (300) 은 통합되거나 동일한 방법의 일부이다. 예를 들어, 방법 (300) 의 "추적 오브젝트 크기" 블록 (380 및 390) 은 이하 논의되는 방법 (700) 의 적어도 블록들 (720-740) 에 대응할 수 있다.
블록 (710) 에서, 방법 (700) 은 장면의 제 1 및 제 2 이미지를 순차적으로 캡처한다. 일부 구현예에서, 블록 (710) 의 기능 중 적어도 일부는 도 2에 나타낸 카메라 (110) 에 의해 수행될 수 있다. 예를 들어, 일부 양태들에서, 메모리 (260) 에 저장된 프로세서 명령들은 제 1 및 제 2 이미지들을 캡처하기 위해 카메라 (110) 를 제어하도록 프로세서 (250) 를 구성할 수 있다.
블록 (720) 에서, 방법 (700) 은 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정한다. 일부 구현예에서, 블록 (720) 의 기능은 도 2에 나타낸 프로세서 (250) 에 의해 수행될 수 있다. 전술한 바와 같이, 일부 양태들에서, 제 1 크기는 제 1 이미지 내의 제 1 오브젝트를 경계짓는 영역의 면적에 기초하거나, 제 1 이미지에서 제 1 오브젝트 자체의 면적에 기초한다. 예를 들어, 면적은 제 1 이미지 내의 제 1 오브젝트를 나타내는 픽셀의 수 또는 이미지 엘리먼트들의 수에 기초할 수 있다.
블록 (730) 에서, 방법 (700) 은 제 2 이미지에서 제 1 오브젝트의 제 2 크기를 결정한다. 일부 구현예에서, 블록 (730) 의 기능은 도 2에 나타낸 프로세서 (250) 에 의해 수행될 수 있다. 전술한 바와 같이, 일부 양태들에서, 제 2 크기는 제 2 이미지 내의 제 1 오브젝트를 경계짓는 영역의 면적에 기초하거나, 제 2 이미지에서 제 1 오브젝트 자체의 면적에 기초한다.
블록 (740) 에서, 방법 (700) 은 제 1 크기와 제 2 크기 간의 차이에 기초하여 카메라를 포커싱한다. 예를 들어, 블록 (740) 은 도 3 및/또는 도 6의 블록들 (380 및 390) 에 관하여 전술한 바와 같이 카메라를 포커싱할 수 있다.
일부 양태들에서, 제 1 이미지와 제 2 이미지의 크기 간의 비율은 하나 이상의 임계치들과 비교된다. 예를 들어, 일부 구현예에서, 제 1 임계치는 1보다 작을 수 있고, 카메라가 리포커싱되어야 하는 정도로 제 1 이미지와 비교하여 제 2 이미지에서 오브젝트 크기가 감소되었는지 여부를 제어할 수 있다. 이 구현예에서, 비율은 제 1 이미지의 오브젝트의 크기와 비교하여 제 2 이미지의 제 1 오브젝트의 크기를 나타낼 수 있다. 이 비율이 제 1 임계치보다 작으면, 포커스 이벤트가 트리거될 수 있다. 유사하게, 이 비율은 1보다 큰 제 2 임계치와 비교될 수 있다. 비율이 제 2 임계치를 초과하면, 일부 구현예들은 제 2 이미지 내의 오브젝트의 크기가 카메라가 리포커싱되어야 하는 정도로 제 1 이미지 내의 오브젝트보다 크다고 결정할 수 있다. 일부 구현예들에서, 하나의 임계치는 2 개의 계산된 비율들과 비교될 수 있다. 예를 들어, 제 1 비율은 제 1 크기/제 2 크기를 나타낼 수 있고, 제 2 비율은 제 2 크기/제 1 크기를 나타낼 수 있다.
당업자는 다른 구현예들이 단일 계산된 비율로 표현되는 제 1 및 제 2 크기 사이의 관계를 역전시킬 수 있음을 이해할 것이다, 즉, 다른 구현예들에서의 역 비율은 제 1 이미지 내의 제 1 오브젝트의 크기를 제 2 이미지 내의 오브젝트의 크기와 비교하여 나타낼 수 있음을 이해할 것이다. 이러한 구현예에서, 당업자는 전술한 바와 같이 포커스 이벤트를 달성하기 위해 2개의 임계치가 식별될 수 있음을 이해할 것이다.
일부 구현예에서, 블록 (720) 의 기능은 도 2에 나타낸 카메라 제어기 (220) 에 의해 수행될 수 있다. 일부 구현예에서, 블록 (720) 은 카메라 제어기 (220) 와 결합하여 프로세서 (250) 에 의해 수행될 수 있다. 예를 들어, 프로세서 (250) 는 제 1 크기와 제 2 크기 간의 차이를 결정할 수 있으며, 그리고 그 차이가 더 많은 임계치들과 비교되는 방법에 의존하여 카메라 제어기 (110) 가 카메라를 포커싱하도록 명령할 수 있다.
방법 (700) 의 일부 양태들은 블록들 (330/340 및/또는 350/360/370) 과 관련하여 전술한 기능 중 하나 이상을 포함할 수 있다.
"제 1", "제 2" 등과 같은 지정을 사용하는 본원의 엘리먼트에 대한 임의의 언급은 일반적으로 이들 엘리먼트의 양 또는 순서를 제한하지 않는다는 것을 이해해야 한다. 오히려, 이러한 지정은 본원에서 2 이상의 엘리먼트들 또는 엘리먼트의 인스턴스들 사이를 구별하는 편리한 방법으로 사용될 수 있다. 따라서, 제 1 및 제 2 엘리먼트들에 대한 언급은 단지 2 개의 엘리먼트들이 채용될 수 있거나 또는 제 1 엘리먼트가 어떤 방식으로 제 2 엘리먼트보다 선행되어야 한다는 것을 의미하지 않는다. 또한, 달리 언급되지 않는 한, 엘리먼트들의 세트는 하나 이상의 엘리먼트들을 포함할 수 있다. 또한, 명세서 또는 청구범위에서 사용된 "A, B 또는 C 중 적어도 하나"의 형태의 용어는 "A 또는 B 또는 C 또는 이들 엘리먼트들의 임의의 조합"을 의미한다.
본원에서 사용된 바와 같이, 용어 "결정하기"는 폭넓게 다양한 액션들을 포괄한다. 예를 들어, "결정하기"는 계산하기, 연산하기, 프로세싱하기, 유도하기, 조사하기, 찾아보기 (예를 들면, 테이블, 데이터베이스 또는 다른 데이터 구조에서 찾아 보기), 확인하기 등을 포함할 수 있다. 또한, "결정하기"는 수신하기 (예를 들어, 정보 수신하기), 액세스하기 (예를 들어, 메모리 내의 데이터에 액세스하기) 등을 포함할 수 있다. 또한, "결정하기"는 해결하기, 선택하기, 고르기, 설정하기 등을 포함할 수 있다.
본원에서 사용된 바와 같이, 아이템들의 리스트의 "그 중 적어도 하나"를 지칭하는 문구는 단일 멤버들을 포함하여 이들 아이템들의 임의의 조합을 지칭한다. 일례로서, "a, b, 또는 c: 중 적어도 하나"는 a, b, c, a-b, a-c, b-c, 및 a-b-c를 포괄하도록 의도된다.
상술된 방법들의 다양한 동작들은, 그 동작들을 수행할 수 있는 임의의 적합한 수단, 예컨대 다양한 하드웨어 및/또는 소프트웨어 컴포넌트(들), 회로들, 및/또는 모듈(들)에 의해 수행될 수도 있다. 일반적으로, 도면들에 나타낸 임의의 동작들은 그 동작들을 수행할 수 있는 대응하는 기능적 수단에 의해 수행될 수도 있다.
본원의 개시물과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그램가능 게이트 어레이 (FPGA) 나 다른 프로그램가능 로직 디바이스 (PLD), 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 시판되는 이용가능한 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한 연산 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로 구현될 수도 있다.
하나 이상의 양태들에서는, 설명된 기능들이 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 송신될 수도 있다.
소프트웨어로 구현되는 경우, 이 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 전달될 수도 있다. 컴퓨터-판독가능 매체들은 한 장소로부터 또 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한, 컴퓨터 저장 매체들 및 통신 매체들 양쪽을 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수도 있는 임의의 가용 매체일 수도 있다. 비한정적인 예로서, 이런 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 스토리지, 자기디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 전달하거나 또는 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터-판독가능 매체로 적절히 지칭된다. 예를 들어, 소프트웨어가 웹사이트, 서버, 또는 다른 원격 소스로부터 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 무선 기술들, 예컨대 적외선, 라디오, 및 마이크로파를 이용하여 송신되면, 동축 케이블, 광섬유 케이블, 연선, DSL, 또는 무선 기술들 예컨대 적외선, 라디오, 및 마이크로파가 그 매체의 정의에 포함된다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 Blu-ray® 디스크를 포함하며, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 따라서, 일부 양태들에서 컴퓨터-판독가능 매체들은 비일시성 컴퓨터-판독가능 매체들 (예컨대, 유형의 매체들) 을 포함할 수도 있다. 게다가, 일부 양태들에 대해 컴퓨터-판독가능 매체들은 일시성 컴퓨터-판독가능 매체들 (예컨대, 신호) 를 포함할 수도 있다. 앞에서 언급한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다.
본원에 개시된 방법들은 설명된 방법을 달성하기 위한 하나 이상의 단계들 도는 작동들을 포함한다. 방법 단계들 및/또는 작동들은 청구항들의 범위를 벗어나지 않으면서 서로 상호 교환될 수도 있다. 다시 말해, 단계들 또는 액션들의 특정의 순서가 규정되지 않는 한, 특정의 단계들 및/또는 액션들의 순서 및/또는 사용은 청구항들의 범위로부터 일탈함이 없이 수정될 수도 있다.
또, 본원에서 설명하는 방법들 및 기법들을 수행하는 모듈들 및/또는 다른 적합한 수단은 적용가능한 경우, 사용자 단말기 및/또는 기지국에 의해 다운로드되거나 및/또는 아니면 획득될 수 있는 것으로 이해되어야 한다. 예를 들어, 이러한 디바이스는 본원에서 설명하는 방법들을 수행하기 위한 수단의 전달을 용이하게 하기 위해서 서버에 커플링될 수 있다. 이의 대안으로, 본원에서 설명하는 여러 방법들은, 사용자 단말기 및/또는 기지국이 저장 수단을 디바이스에 커플링하거나 제공하자마자 여러 방법들을 획득할 수 있도록, 저장 수단 (예컨대, RAM, ROM, 컴팩트 디스크 (CD) 또는 플로피 디스크와 같은 물리적인 저장 매체 등) 을 통해 제공될 수 있다. 더욱이, 본원에서 설명하는 방법들 및 기법들을 디바이스에 제공하기 위한 임의의 다른 적합한 기법이 이용될 수 있다.
하기의 특허청구범위는 상기 설명된 정확한 구성 및 컴포넌트들로 제한되는 것이 아님을 이해해야 한다. 특허청구범위의 범위를 벗어나지 않으면서, 상술된 방법들 및 장치들의 배치, 동작 및 상세에서 여러 수정예들, 변경예들 및 변형예들이 행해질 수도 있다.

Claims (19)

  1. 카메라를 포커싱하는 방법으로서,
    장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 단계;
    상기 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 단계;
    상기 제 2 이미지에서 상기 제 1 오브젝트의 제 2 크기를 결정하는 단계;
    상기 제 1 크기와 상기 제 2 크기 사이의 차이에 기초하여 상기 카메라를 포커싱하는 단계를 포함하는, 카메라를 포커싱하는 방법.
  2. 제 1 항에 있어서,
    제 1 경계 영역이 상기 제 1 이미지 내의 상기 제 1 오브젝트를 포함한다고 결정하는 단계;
    제 2 경계 영역이 상기 제 2 이미지 내의 상기 제 1 오브젝트를 포함한다고 결정하는 단계;
    상기 제 1 경계 영역과 상기 제 2 경계 영역 사이의 차이에 기초하여 상기 카메라를 포커싱하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  3. 제 2 항에 있어서,
    상기 제 1 경계 영역의 면적과 상기 제 2 경계 영역의 면적 사이의 차이에 기초하여 상기 카메라를 포커싱하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  4. 제 2 항에 있어서,
    상기 제 2 경계 영역의 면적과 상기 제 1 경계 영역의 면적 사이의 비율을 결정하는 단계;
    상기 비율이 크기 감소 임계치보다 작거나 또는 크기 증가 임계치를 초과하는 것에 대응하여 상기 카메라를 포커싱하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  5. 제 2 항에 있어서,
    상기 차이가 영역 차이 임계치를 초과하는 경우 상기 카메라를 포커싱하는 단계; 및
    상기 차이가 상기 영역 차이 임계치를 초과하지 않는 경우 상기 카메라의 포커스를 유지하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 및 제 2 이미지를 복수의 대응하는 영역들로 분할하는 단계;
    상기 제 1 오브젝트를 포함하는 상기 제 1 이미지 내의 제 1 영역 및 상기 제 2 이미지 내의 대응하는 제 2 영역을 결정하는 단계;
    상기 제 1 영역 및 상기 제 2 영역 내의 이미지 컨텐츠 사이의 제 1 차이를 결정하는 단계; 및
    이미지 컨텐츠의 상기 제 1 차이에 기초하여 상기 카메라를 포커싱하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  7. 제 6 항에 있어서,
    상기 카메라를 포커싱할 때 고려대상으로부터, 상기 제 1 오브젝트를 포함하지 않는 것으로 결정되는 복수의 영역들의 영역들을 제외하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  8. 제 6 항에 있어서,
    상기 제 2 이미지 내의 제 3 영역이 제 1 오브젝트를 포함한다고 결정하는 단계;
    제 2 시간 이후인 제 3 시간에 상기 오브젝트의 제 3 이미지를 캡처하는 단계;
    상기 제 3 영역에 대응하는 상기 제 3 이미지 내의 제 4 영역을 결정하는 단계;
    상기 제 3 영역 및 상기 제 4 영역 내의 이미지 컨텐츠 사이의 제 2 차이를 결정하는 단계; 및
    이미지 컨텐츠의 상기 제 2 차이에 대응하여 상기 카메라를 포커싱하는 단계를 더 포함하는, 카메라를 포커싱하는 방법.
  9. 촬상 장치로서,
    장면의 제 1 및 제 2 이미지를 순차적으로 캡처하도록 구성된 카메라;
    상기 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하도록 구성되는 상기 카메라와 통신하는 프로세서로서, 또한 상기 제 2 이미지에서 상기 제 1 오브젝트의 제 2 크기를 결정하도록 구성되는, 상기 프로세서; 및
    상기 제 1 크기와 상기 제 2 크기의 차이에 기초하여 상기 카메라를 포커싱하도록 구성된 카메라 제어기를 포함하는, 촬상 장치.
  10. 제 9 항에 있어서,
    상기 프로세서는 또한 상기 제 1 이미지에서 상기 제 1 오브젝트를 포함하는 제 1 경계 영역을 결정하고, 그리고 상기 제 2 이미지에서 상기 제 1 오브젝트를 포함하는 제 2 경계 영역을 결정하도록 구성되고, 상기 카메라 제어기는 또한 상기 제 1 경계 영역과 상기 제 2 경계 영역 사이의 차이에 기초하여 상기 카메라를 포커싱하도록 구성되는, 촬상 장치.
  11. 제 10 항에 있어서,
    상기 카메라 제어기는 또한 상기 제 1 경계 영역의 면적과 상기 제 2 경계 영역의 면적 사이의 차이에 기초하여 상기 카메라를 포커싱하도록 구성되는, 촬상 장치.
  12. 제 11 항에 있어서,
    상기 프로세서는 또한 상기 제 2 경계 영역의 면적과 상기 제 1 경계 영역의 면적 사이의 비율을 결정하도록 구성되고, 상기 카메라 제어기는 또한 상기 비율이 크기 감소 임계치보다 작거나 또는 크기 증가 임계치를 초과하는 것에 기초하여 상기 카메라를 포커싱하도록 구성되는, 촬상 장치.
  13. 제 12 항에 있어서,
    상기 카메라 제어기는 또한 상기 차이가 영역 차이 임계치를 초과하는 경우 상기 카메라를 포커싱하고, 그리고 상기 차이가 상기 영역 차이 임계치를 초과하지 않는 경우 상기 카메라의 포커스를 유지하도록 구성되는, 촬상 장치.
  14. 제 9 항에 있어서,
    상기 프로세서는 또한:
    상기 제 1 및 제 2 이미지를 복수의 대응하는 영역들로 분할하고,
    상기 제 1 오브젝트를 포함하는 상기 제 1 이미지 내의 제 1 영역 및 상기 제 2 이미지 내의 대응하는 제 2 영역을 결정하고,
    상기 제 1 영역 및 상기 제 2 영역 내의 이미지 컨텐츠 사이의 제 1 차이를 결정하도록 구성되고, 그리고
    상기 카메라 제어기는 또한 이미지 컨텐츠의 상기 제 1 차이에 기초하여 상기 카메라를 포커싱하도록 구성되는, 촬상 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는 또한 상기 카메라를 포커싱할 때 고려대상으로부터, 상기 제 1 오브젝트를 포함하지 않는 것으로 결정되는 복수의 영역들의 영역들을 제외하도록 구성되는, 촬상 장치.
  16. 제 14 항에 있어서,
    상기 프로세서는 또한:
    상기 제 2 이미지 내의 제 3 영역이 상기 제 1 오브젝트를 포함한다고 결정하고,
    제 2 시간 이후인 제 3 시간에 상기 오브젝트의 제 3 이미지를 캡처하고,
    상기 제 3 영역에 대응하는 상기 제 3 이미지 내의 제 4 영역을 결정하며, 그리고
    상기 제 3 영역 및 상기 제 4 영역 내의 이미지 컨텐츠 사이의 제 2 차이를 결정하도록 구성되고, 그리고
    상기 카메라 제어기는 또한 이미지 컨텐츠의 상기 제 2 차이에 대응하여 상기 카메라를 포커싱하도록 구성되는, 촬상 장치.
  17. 촬상 장치로서,
    장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 수단;
    상기 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 수단;
    상기 제 2 이미지에서 상기 제 1 오브젝트의 제 2 크기를 결정하는 수단; 및
    상기 제 1 크기와 상기 제 2 크기 사이의 차이에 기초하여 상기 캡처하는 수단을 포커싱하는 수단을 포함하는, 촬상 장치.
  18. 제 17 항에 있어서,
    상기 캡처하는 수단은 카메라를 포함하고, 상기 제 1 크기를 결정하는 수단은 프로세서를 포함하고, 상기 제 2 크기를 결정하는 수단은 상기 프로세서를 포함하고, 그리고 상기 포커싱하는 수단은 카메라 제어기를 포함하는, 촬상 장치.
  19. 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은 실행되는 경우 프로세서로 하여금 카메라를 포커싱하는 방법을 수행하도록 하며,
    상기 방법은:
    장면의 제 1 및 제 2 이미지를 순차적으로 캡처하는 단계;
    상기 제 1 이미지에서 제 1 오브젝트의 제 1 크기를 결정하는 단계;
    상기 제 2 이미지에서 상기 제 1 오브젝트의 제 2 크기를 결정하는 단계; 및
    상기 제 1 크기와 상기 제 2 크기 사이의 차이에 기초하여 상기 카메라를 포커싱하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020177025081A 2015-03-10 2016-02-23 연속 오토 포커스 (caf) 를 위한 시스템 및 방법 KR102580474B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/643,876 US9686463B2 (en) 2015-03-10 2015-03-10 Systems and methods for continuous auto focus (CAF)
US14/643,876 2015-03-10
PCT/US2016/019142 WO2016144532A1 (en) 2015-03-10 2016-02-23 Systems and methods for continuous auto focus (caf)

Publications (2)

Publication Number Publication Date
KR20170126900A true KR20170126900A (ko) 2017-11-20
KR102580474B1 KR102580474B1 (ko) 2023-09-19

Family

ID=55527641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177025081A KR102580474B1 (ko) 2015-03-10 2016-02-23 연속 오토 포커스 (caf) 를 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US9686463B2 (ko)
EP (1) EP3269133A1 (ko)
JP (1) JP6682550B2 (ko)
KR (1) KR102580474B1 (ko)
CN (1) CN107258077B (ko)
WO (1) WO2016144532A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101845318B1 (ko) * 2010-11-29 2018-05-18 포토내이션 리미티드 핸드헬드 장치상에서 캡처된 다수의 이미지로부터의 인물사진 이미지 합성
JP6655869B2 (ja) * 2014-10-09 2020-03-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11523090B2 (en) 2015-03-23 2022-12-06 The Chamberlain Group Llc Motion data extraction and vectorization
JP6757268B2 (ja) * 2017-01-30 2020-09-16 キヤノン株式会社 撮像装置及びその制御方法
US10645335B2 (en) * 2017-03-22 2020-05-05 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus for generating a single file of two shooting periods
CN107302658B (zh) * 2017-06-16 2019-08-02 Oppo广东移动通信有限公司 实现人脸清晰的对焦方法、装置和计算机设备
US10417882B2 (en) * 2017-10-24 2019-09-17 The Chamberlain Group, Inc. Direction sensitive motion detector camera
US10609274B2 (en) 2018-03-30 2020-03-31 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
US10582111B2 (en) 2018-03-30 2020-03-03 Qualcomm Incorporated Systems and methods for autofocus and depth map generation
EP3627511A1 (en) 2018-09-21 2020-03-25 Samsung Electronics Co., Ltd. Method and system for automatically adding effect while recording
US11763209B1 (en) * 2019-03-06 2023-09-19 American Airlines, Inc. Virtual measurement system for baggage management
US11508079B2 (en) * 2019-06-28 2022-11-22 Intel Corporation Parallelism in disparity map generation
CN114567725B (zh) * 2019-10-17 2024-03-05 电装波动株式会社 具备事件相机的摄像装置
JP7327075B2 (ja) * 2019-10-17 2023-08-16 株式会社デンソーウェーブ 撮像装置
KR102374840B1 (ko) * 2020-10-20 2022-03-15 두산중공업 주식회사 딥러닝 학습용 결함 이미지 생성 방법 및 이를 위한 시스템
KR20220101998A (ko) * 2021-01-12 2022-07-19 삼성전자주식회사 자동 초점 조절이 가능한 전자 장치 및 그 동작 방법
CN112995522A (zh) * 2021-04-27 2021-06-18 浙江华创视讯科技有限公司 人脸聚焦方法及装置、电子设备、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3733392B2 (ja) * 1996-03-05 2006-01-11 イーストマン コダック カンパニー 画像の構図変化検出方法
JP3732665B2 (ja) 1998-12-22 2006-01-05 株式会社リコー 自動焦点制御装置及びその合焦動作決定方法
US7695166B2 (en) * 2001-11-23 2010-04-13 Derose Anthony Shaped LED light bulb
KR100426174B1 (ko) * 2001-10-29 2004-04-06 삼성전자주식회사 영상압축 알고리즘을 이용한 카메라 제어방법
JP2003215440A (ja) * 2002-01-24 2003-07-30 Casio Comput Co Ltd オートフォーカス方法、及びオートフォーカス装置
JP4429328B2 (ja) * 2007-02-09 2010-03-10 キヤノン株式会社 自動合焦装置とその制御方法並びに撮像装置
JP5368723B2 (ja) * 2008-04-09 2013-12-18 キヤノン株式会社 撮像装置及びその制御方法
JP2010008620A (ja) * 2008-06-26 2010-01-14 Hitachi Ltd 撮像装置
KR100965320B1 (ko) 2008-10-08 2010-06-22 삼성전기주식회사 연속 오토포커스 자동 제어장치 및 자동 제어방법
US7995909B2 (en) 2008-12-12 2011-08-09 Samsung Electro-Mechanics Co., Ltd. Auto-focusing method
JP5407373B2 (ja) * 2009-02-02 2014-02-05 カシオ計算機株式会社 撮影装置、及びプログラム
US8036522B2 (en) 2009-06-04 2011-10-11 Texas Instruments Incorporated Method and system for auto-focusing
JP5213813B2 (ja) * 2009-08-18 2013-06-19 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP2011234173A (ja) * 2010-04-28 2011-11-17 Panasonic Corp 撮像装置
GB2482290A (en) 2010-07-26 2012-02-01 St Microelectronics Res & Dev Autofocus method using tilted focal plane
US8970770B2 (en) * 2010-09-28 2015-03-03 Fotonation Limited Continuous autofocus based on face detection and tracking
JP5546646B2 (ja) * 2010-12-09 2014-07-09 富士フイルム株式会社 撮像装置及び主要被写体認識方法
WO2012093663A1 (ja) * 2011-01-06 2012-07-12 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US9116553B2 (en) 2011-02-28 2015-08-25 AI Cure Technologies, Inc. Method and apparatus for confirmation of object positioning
JP5699806B2 (ja) * 2011-05-27 2015-04-15 株式会社ニコン 撮像装置
US9813607B2 (en) * 2011-12-16 2017-11-07 Nokia Technologies Oy Method and apparatus for image capture targeting
KR20140007529A (ko) * 2012-07-09 2014-01-20 삼성전자주식회사 카메라의 이미지 촬영장치 및 방법
US20140253785A1 (en) 2013-03-07 2014-09-11 Mediatek Inc. Auto Focus Based on Analysis of State or State Change of Image Content
US9477138B2 (en) 2013-06-10 2016-10-25 Apple Inc. Autofocus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090009651A1 (en) * 2007-07-04 2009-01-08 Sanyo Electric Co., Ltd. Imaging Apparatus And Automatic Focus Control Method

Also Published As

Publication number Publication date
US20160269615A1 (en) 2016-09-15
US9686463B2 (en) 2017-06-20
KR102580474B1 (ko) 2023-09-19
CN107258077B (zh) 2020-08-11
JP2018513992A (ja) 2018-05-31
JP6682550B2 (ja) 2020-04-15
WO2016144532A1 (en) 2016-09-15
CN107258077A (zh) 2017-10-17
EP3269133A1 (en) 2018-01-17

Similar Documents

Publication Publication Date Title
KR102580474B1 (ko) 연속 오토 포커스 (caf) 를 위한 시스템 및 방법
US9154697B2 (en) Camera selection based on occlusion of field of view
US9253375B2 (en) Camera obstruction detection
US10277809B2 (en) Imaging device and imaging method
EP2768214A2 (en) Method of tracking object using camera and camera system for object tracking
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
US10061983B2 (en) Tracking apparatus, tracking method, and non-transitory storage medium storing tracking program
US20150163391A1 (en) Image capturing apparatus, control method of image capturing apparatus, and non-transitory computer readable storage medium
KR20090072979A (ko) 소정 조건을 따른 화상을 기록하는 촬상장치, 촬영방법 및 그 프로그램을 기록한 기록매체
US10277888B2 (en) Depth triggered event feature
KR20100134085A (ko) 디지털 이미지에서 객체 검출 속도 향상을 위한 시스템 및 방법
US20160104291A1 (en) Image refocusing
US20110274420A1 (en) Imaging apparatus and method for controlling same
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
CN104243806B (zh) 成像装置、信息显示方法和信息处理单元
US9386214B2 (en) Focusing control method using colour channel analysis
JP2012235257A (ja) 撮影装置
US10003735B2 (en) Calculation device and image pickup device using calculation device and calculation method
US9854150B2 (en) Auto-focus control in a camera to prevent oscillation
US20170365063A1 (en) Image processing apparatus and method for controlling the same
US9298319B2 (en) Multi-touch recognition apparatus using filtering and a difference image and control method thereof
US11206348B2 (en) Image apparatus to generate a combined image, control method for controlling an apparatus to generate a combined image, and storage medium
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
EP2735138B1 (en) System and method for focusing an electronic imaging system
JP2018116139A (ja) 撮像装置、その制御方法、および制御プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant