KR102477757B1 - 자동 초점 시스템 및 방법 - Google Patents

자동 초점 시스템 및 방법 Download PDF

Info

Publication number
KR102477757B1
KR102477757B1 KR1020150180365A KR20150180365A KR102477757B1 KR 102477757 B1 KR102477757 B1 KR 102477757B1 KR 1020150180365 A KR1020150180365 A KR 1020150180365A KR 20150180365 A KR20150180365 A KR 20150180365A KR 102477757 B1 KR102477757 B1 KR 102477757B1
Authority
KR
South Korea
Prior art keywords
image
phase difference
difference image
feature
robust
Prior art date
Application number
KR1020150180365A
Other languages
English (en)
Other versions
KR20170072428A (ko
Inventor
백준기
유윤종
장진범
김종헌
임재현
전재환
조완희
Original Assignee
에스케이하이닉스 주식회사
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사, 중앙대학교 산학협력단 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020150180365A priority Critical patent/KR102477757B1/ko
Priority to US15/140,202 priority patent/US9854152B2/en
Publication of KR20170072428A publication Critical patent/KR20170072428A/ko
Application granted granted Critical
Publication of KR102477757B1 publication Critical patent/KR102477757B1/ko

Links

Images

Classifications

    • H04N5/23212—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Abstract

본 발명은 자동 초점 기술에 관한 것으로, 더 상세하게는 영상의 계층적인 특징 추출과 움직임 추정을 이용한 센서 기반의 자동 초점 시스템 및 그 방법에 관한 것이다. 상기 센서 기반의 자동 초점 시스템 및 방법은 센싱된 영상으로부터 위상 차 영상을 추출하는 단계; 상기 위상 차 영상으로부터 잡음 및 초점 열화에 대하여 미리 설정된 기준을 만족하는 강건한 특징(Feature) 영상을 추출하는 단계; 및 (c) 상기 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정하는 단계;를 포함한다.

Description

자동 초점 시스템 및 방법{AUTOMATIC FOCUS SYSTEM AND METHOD}
본 발명은 자동 초점 기술에 관한 것으로, 더 상세하게는 영상의 계층적인 특징 추출과 움직임 추정을 이용한 센서 기반의 자동 초점 시스템 및 그 방법에 관한 것이다.
자동 초점 기술은 카메라의 영상 획득 과정에서 선명한 영상을 획득하기 위한 가장 중요한 기술 중 하나이다.
이러한 자동 초점 기술은 크게 추가적인 신호를 이용하여 직접적으로 거리를 재는 능동 방식과 렌즈를 통해 들어온 빛을 분석하여 거리를 재는 수동 방식으로 구분된다.
능동 방식은 자동 초점을 위한 모듈을 탑재하여, 특정 신호를 출력하고 해당 신호가 피사체에 반사되어 되돌아 오는 시간을 통해 초점 거리를 계산한다.
수동 방식은 피사체로부터 반사되어 카메라로 전달되는 가시 영역의 광원을 분석하여 거리를 계산한다.
수동 방식은 크게 대비 검출 자동 초점(CDAF) 방식과 위상 검출 자동 초점(PDAF) 방식으로 구분된다. 이러한 자동 초점 방식은 모두 현재 디지털 카메라에 적용되고 있다.
최근에는 능동 방식 및 수동 방식의 장점을 모두 취하기 위해 하이브리드 자동 초점 방식이 각광받고 있다.
하이브리드 자동 초점 방식은 능동 방식 또는 위상 차 검출 방식을 이용하여 일차적으로 정 초점 상태를 판단하고, 정확도를 보장하는 대비 검출 자동 초점 방식을 이용하여 이차적으로 선명한 초점 영상을 제공한다.
하이브리드 자동 초점 방식에서, 일차 자동 초점 방식은 자동 초점 시스템의 연산 속도 측면에서 매우 중요하다. 이차 자동 초점 방식으로 쓰이는 대비 검출 자동 초점 시스템이 제공하는 렌즈의 반복된 움직임을 최소화하기 위해서는 일차 자동 초점 방식에서 렌즈가 최대한 정 초점에 가까울 필요가 있기 때문이다.
이를 위해, 최근에는 영상 센서에 위상 차 계산을 위한 화소를 탑재한 초점 방식이 연구되고 있다.
이 방법에서, 자동 초점을 위해 쓰이는 두 측거점 화소는 각각 다른 위상을 입력 받도록 차단막이 씌워져 있다.
그러나 서로 다른 위상을 정의하기 위해서 화소 위에 별도로 탑재한 차단막 때문에 측거점에서 받는 빛의 양은 다른 화소들에 비해 적고, 카메라에 들어오는 입력 영상에는 초점 열화가 존재한다.
이러한 조건에서 특징(feature)을 검출하는 것은 매우 어려우며, 계산된 위상 차의 값을 신뢰하기 어렵다. 따라서, 신뢰할 수 있는 위상 차 영상을 추출하고 위상 차 영상을 통해서 정확한 위상 차를 계산하여 움직임을 추정할 수 있는 방법이 요구되고 있다.
특허문헌 1: 일본 공개특허 JP2014-182237 특허문헌 2: 일본 공개특허 JP2013-152388
본 발명이 해결하고자 하는 기술적 과제는 신뢰할 수 있는 위상 차 영상을 추출할 수 있는 센서 기반의 자동 초점 시스템 및 그 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 다른 기술적 과제는 위상 차 영상에서 강건한 특징(feature)을 추출하여 움직임을 추정할 수 있는 센서 기반의 자동 초점 시스템 및 그 방법을 제공하는데 있다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는 움직임 추정을 통해서 정 초점을 위한 렌즈의 반복된 움직임을 최소화할 수 있는 센서 기반의 자동 초점 시스템 및 그 방법을 제공하는데 있다.
본 발명의 자동 초점 시스템은, 영상을 센싱하는 센싱부; 및 상기 영상으로부터 위상 차 영상을 추출하고, 상기 위상 차 영상으로부터 잡음 및 초점 열화에 대하여 미리 설정된 기준을 만족하는 강건한 특징(Feature) 영상을 추출하며, 상기 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정하는 자동 초점 제어부;를 포함한다.
본 발명에서, 상기 자동 초점 제어부는 상기 영상에서 미리 정해진 관심 영역을 선택하고, 상기 관심 영역의 영상 및 미리 정의된 측거점 패턴 영상에 대응하여 제1 위상 차 영상 및 제2 위상 차 영상을 추출하는 위상 차 영상 추출부; 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상 중 어느 하나의 영상에 대응하여 잡음에 강건한 제1 차분 영상과 초점 열화에 강건한 제2 차분 영상을 획득하고 상기 제1 차분 영상 및 상기 제2 차분 영상을 이용하여 특징이 강건한 영역에 대한 좌표를 획득하며, 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상으로부터 상기 좌표에 해당하는 상기 특징 영상을 추출하는 특징 추출부; 및 상기 특징 영상에서 상기 움직임 벡터를 추정하는 움직임 추정부;를 포함한다.
본 발명에서, 상기 위상 차 영상 추출부는 상기 영상에 대하여 미리 정의된 위치와 크기의 상기 관심 영역을 설정하는 관심영역 설정부; 상기 관심 영역의 영상과 상기 측거점 패턴 영상을 앤드(AND) 연산하여 측거점 위치의 영상을 취하는 연산부; 및 상기 측거점 위치의 영상을 샘플링하여 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상을 획득하는 영상 샘플링부;를 포함한다.
본 발명에서, 상기 특징 추출부는 상기 제1 위상 차 영상에서 가우시안 차분 기법을 적용하여 잡음에 강건한 상기 제1 차분 영상을 획득하는 가우시안 차분부; 상기 제1 위상 차 영상에서 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 적용하여 초점 열화에 강건한 상기 제2 차분 영상을 획득하는 멀티-스케일 영상 차분부; 상기 제1 차분 영상 및 상기 제2 차분 영상을 합(SUM) 연산하고 특징이 강건한 영역에 대한 좌표를 획득하는 연산부; 및 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상에서 상기 좌표에 대응하는 제1 특징 영상 및 제2 특징 영상을 추출하는 특징 영상 생성부;를 포함한다.
본 발명에서, 상기 움직임 추정부는 상기 특징 영상에 대응하여 위상 상관(phase correlation), 블록 매칭(block matching) 및 계층적인 보간(interpolation) 중 하나 이상을 이용하여 상기 움직임 벡터를 추정한다.
본 발명의 자동 초점 방법은, (a) 센싱된 영상으로부터 위상 차 영상을 추출하는 단계; (b) 상기 위상 차 영상으로부터 잡음 및 초점 열화에 대하여 미리 설정된 기준을 만족하는 강건한 특징(Feature) 영상을 추출하는 단계; 및 (c) 상기 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정하는 단계;를 포함한다.
본 발명에서, 상기 (a) 단계는 센싱된 영상을 미리 정의된 위치와 크기를 가지는 관심 영역의 영상으로 재 구성하는 단계; 상기 관심 영역의 영상과 상기 측거점 패턴 영상을 앤드(AND) 연산하여 측거점 위치의 영상을 획득하는 단계; 및 상기 측거점 위치의 영상을 샘플링하여 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상을 획득하는 단계;를 포함한다.
본 발명에서, 상기 (b) 단계는 제1 위상 차 영상에서 가우시안 차분 기법을 적용하여 잡음에 강건한 제1 차분 영상을 획득하는 단계; 상기 제1 위상 차 영상에서 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 적용하여 초점 열화에 강건한 제2 차분 영상을 획득하는 단계; 상기 제1 차분 영상 및 상기 제2 차분 영상을 합 연산하여 특징이 강건한 영역에 대한 상기 좌표를 획득하는 단계; 및 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상으로부터 상기 좌표에 대응하는 제1 특징 영상 및 제2 특징 영상을 추출하는 단계;를 포함한다.
본 발명에서, 상기 (c) 단계는 상기 특징 영상에서 위상 상관(phase correlation), 블록 매칭(block matching) 및 계층적인 보간(interpolation)을 이용하여 상기 움직임 벡터를 추정하는 과정을 포함한다.
상술한 바와 같이, 본 발명은 저조도의 초점 열화 영상에서도 신뢰할 수 있는 위상 차 영상을 추출할 수 있다.
또한, 본 발명은 위상 차 영상에서 강건한 특징을 추출하여 움직임을 추정하므로 저조도의 환경에서도 정확하고 빠르게 위상 차를 계산할 수 있다.
또한, 본 발명은 위상 차를 정확하고 빠르게 연산하므로 정 초점을 위한 렌즈의 반복된 움직임을 최소화할 수 있다.
또한, 본 발명은 렌즈의 반복된 움직임을 최소화하므로 빠르게 정 초점을 조정할 수 있다.
도 1은 위상 차 자동 초점 방식을 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명의 자동 초점 시스템에 적용할 센서의 구조를 설명하기 위한 도면이다.
도 4는 본 발명의 자동 초점 시스템의 일 실시예를 설명하기 위한 블록도이다.
도 5는 도 4의 위상 차 영상 추출부의 위상 영상 샘플링 과정을 설명하기 위한 블록도이다.
도 6은 도 4의 특징 추출부의 특징 추출 과정을 설명하기 위한 흐름도이다.
도 7은 위상 차 영상의 생성 과정을 설명하기 위한 도면이다.
도 8은 움직임 추정을 위한 계층적인 보간법(interpolation)을 설명하기 위한 도면이다.
도 9는 각 초점 상태에 따라 촬영된 실험 영상이다.
도 10은 도 9의 관심 영역에 대한 특징 추출 결과를 도시한 도면이다.
도 11은 계층적인 위상 상관(phase correlation)을 수행한 결과를 도시한 도면이다.
도 12는 2,448 x 1,624의 크기를 가지는 저조도 영상 집합을 도시한 도면이다.
도 13은 좌표 (276, 386)의 위치를 중심으로 하는 600 x 1000 관심 영역의 영상을 도시한 도면이다.
도 14는 영상 세트의 움직임 추정 결과를 도시한 도면이다.
도 15는 1,200 x 1,200 크기의 왼쪽 전 초점 위상 영상을 도시한 도면이다.
도 16은 도 15의 영상에서 획득한 600 x 600 크기의 특징 추출 영상을 도시한도면이다.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 위상 차 자동 초점 방식을 설명하기 위한 도면이다.
도 1의 (a)는 렌즈를 통해 들어온 광원이 반투명 거울(Half Mirror)을 통해 각각 영상 센서(Imaging Sensor)와 라인 센서(Line Sensor)에 맺히는 두 빛으로 분리되는 과정을 도시한다.
도 1의 (b)는 빛이 다시 분리형 렌즈(Separate Lens)를 통해 분리되어 센서에 맺히는 과정을 도시한다. 초점 열화가 존재할 경우, 각 라인 센서의 중심을 기준으로 서로 대칭적으로 영상이 맺힌다.
위상 차 검출 자동 초점 방식은 라인 센서를 통해서 위상 차를 계산하고 위상 차에 따라 초점을 조정한다.
대부분의 디지털 단일 렌즈 반사형(DSLR) 카메라는 위상 차를 계산하기 위한 별도의 라인 센서를 탑재하며, 라인 센서의 신호를 통해서 위상 차를 계산하고 위상 차에 대응하여 초점 조정 방향과 정도를 추정한다.
위상 차 검출 자동 초점 방식은 별도의 라인 센서에 맺히는 광원에 의해 위상 차를 계산하므로 목표 피사체에 대해 빠르게 렌즈의 정 초점 위치를 파악할 수 있다.
하지만 상기와 같은 위상 차 검출 자동 초점 방식은 빛을 라인 센서에 도달시키기 위해 별도의 많은 장비가 필요하며, 반투명 거울이나 분리형 렌즈 등의 하드웨어 구조가 외부적 충격으로 인해 카메라가 처음 만들어진 구조와 다르게 될 경우 정확한 초점을 구할 수 없다.
도 2 및 도 3은 본 발명의 자동 초점 시스템에 적용할 센서의 구조를 설명하기 위한 도면이다
도 2 및 도 3을 참고하면, 본 발명의 센서는 위상 차 검출을 위한 측거점으로 화소 전체를 이용한다.
도 2의 (a), (b)에 도시한 바와 같이, 본 발명의 센서는 화소마다 촬상 소자(Photodiode), 차단막(Black Mask) 및 마이크로 렌즈(Microlens)를 포함한다. 촬상 소자(Photodiode)는 광원을 수광하기 위한 측거점으로 활용되고, 촬상 소자 앞에 차단막이 구비되며 촬상 소자 및 차단막 앞에 마이크로 렌즈가 구비된다.
도 3을 참고하면, 본 발명의 센서는 화소 전체를 위상 영상을 획득하기 위한 측거점으로 활용된다. 일례로, 화소는 베이어 색상 배열 패턴(Bayer CFA) BGGR(Blue, Green, Green, Red) 구조로 배열될 수 있으며, 상기 화소 중 가로 방향의 홀수 번째 화소는 오른쪽에 차단막이 배치되고 짝수 번째 화소는 왼쪽에 차단막이 배치될 수 있다.
다음으로, 상기와 같은 구조의 센서를 탑재한 카메라를 통해서 얻어지는 영상은 다음과 같은 열화모델로 정의된다.
Figure 112015123530464-pat00001
여기서 g(x,y)는 획득한 영상, f(x,y)는 베이어 패턴에서 획득한 초점 열화가 없는 이상적인 영상, gL(x,y), gR(x,y)는 초점 열화가 존재하는 왼쪽, 오른쪽 위상 영상, hL(x,y), hR(x,y)는 gL(x,y), gR(x,y)의 초점 열화 함수이며,
Figure 112015123530464-pat00002
는 잡음 영상, (x,y)는 영상의 좌표이다.
도 4는 본 발명의 자동 초점 시스템의 일 실시예를 설명하기 위한 블록도이다.
도 4를 참고하면, 본 발명의 자동 초점 시스템은 센싱부(100) 및 자동 초점 제어부(200)를 포함한다.
센싱부(100)는 영상을 센싱하여 자동 초점 제어부(200)에 제공하고, 자동 초점 제어부(200)는 센싱부(100)로부터 제공되는 영상으로부터 위상 차 영상을 추출하고, 위상 차 영상으로부터 잡음 및 초점 열화에 강건한 특징(Feature) 영상을 추출하며, 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정한다.
이러한 자동 초점 제어부(200)는 위상 차 영상 추출부(10), 특징 추출부(20) 및 움직임 추정부(30)를 포함한다.
위상 차 영상 추출부(10)는 초점이 흐린 영상 g(x,y)와 측거점을 정의한 영상 b(x,y)에 응답하여 왼쪽과 오른쪽 위상 영상 gL(x,y), gR(x,y)을 생성한다. 여기서 b(x,y)는 미리 정의된 측거점 패턴 영상이며, gL(x,y), gR(x,y)은 각각 추출된 왼쪽, 오른쪽 위상 영상이다.
특징 추출부(20)는 왼쪽 위상 영상에서 추출한 강인한 특징점을 기준으로 두 위상 영상의 관심 영역을 재정의하고, 영상의 잡음과 초점 열화 영상으로부터 가우시안 차분(DoG)과 영상의 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 사용하여 강인한 특징점을 추출한다.
이러한 특징 추출부(20)는 가우시안 차분부(22), 멀티-스케일 영상 차분부(24) 및 특징 영상 생성부(26)를 포함한다.
가우시안 차분부(22)는 왼쪽 위상 차 영상에서 가우시안 차분 기법을 적용하여 잡음에 강건한 차분 영상을 획득하고, 멀티-스케일 영상 차분부(24)는 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 적용하여 초점 열화에 강건한 차분 영상을 획득하며, 연산부(28)는 가우시안 차분부(22)와 멀티-스케일 영상 차분부(24)로부터 차분 영상을 합 연산하여 특징이 강건한 영역에 대한 좌표를 획득한다. 특징 영상 생성부(26)는 특징이 강건한 영역에 대한 좌표를 기준으로 위상 차 영상으로부터 특징 영상을 추출한다.
움직임 추정부(30)는 특징 추출 결과로 획득한 두 영상 gLf(x,y)과 gRf(x,y) 사이의 위상 상관(phase correlation)에 대응하여 움직임 벡터
Figure 112015123530464-pat00003
를 연산한다. 움직임 벡터
Figure 112015123530464-pat00004
는 정 초점 영상을 획득하기 위한 렌즈를 이동시키는데 이용된다.
상기와 같은 본 발명의 자동 초점 시스템 및 방법을 보다 상세히 설명하면 다음과 같다. 먼저, 센서를 통해서 획득한 영상에서 위상 차 영상을 획득하는 과정을 설명한다.
도 5는 도 4의 위상 차 영상 추출부(10)의 위상 영상 샘플링 과정을 설명하기 위한 블록도이다.
도 5를 참고하면, 위상 차 영상 추출부 (10)는 관심영역 설정부(12), 연산부(14) 및 영상 샘플링부(16)를 포함한다.
위상 차 영상 추출부(10)의 관심영역 설정부(12)는 센싱부(100)에서 센싱한 영상
Figure 112015123530464-pat00005
을 미리 정의된 관심 영역의 위치와 크기로 설정하고, 연산부(14)는 관심 영역의 영상과 측거점 패턴 영상
Figure 112015123530464-pat00006
을 앤드 연산하며, 영상 샘플링부(16)는 연산부(14)의 출력 영상을 샘플링하여 위상 차 영상
Figure 112015123530464-pat00007
,
Figure 112015123530464-pat00008
을 획득한다.
위상 차 영상 추출부(10)는 센서의 베이어 색상 배열 패턴(Bayer CFA) BGGR(Blue, Green, Green, Red) 구조를 기반으로, 홀수 열의 화소에서 왼쪽 위상 영상
Figure 112015123530464-pat00009
을 짝수 열의 화소에서 오른쪽 위상 영상
Figure 112015123530464-pat00010
을 생성한다. 여기서,
Figure 112015123530464-pat00011
는 미리 정의된 측거점 패턴 영상이며,
Figure 112015123530464-pat00012
,
Figure 112015123530464-pat00013
은 각각 추출된 왼쪽, 오른쪽 위상 영상이다.
이와 같이 위상 차 영상 추출부(10)는 사전에 정의된 관심 영역의 위치와 크기를 바탕으로 센서를 통해 획득한 영상
Figure 112015123530464-pat00014
를 재구성하고,
Figure 112015123530464-pat00015
와 앤드(AND) 연산을 취함으로써 측거점 위치의 정보만을 취한다. 그리고, 위상 차 영상 추출부(10)는 각 측거점의 x, y축을 정의하고 영상을 샘플링하여 왼쪽 위상 영상
Figure 112015123530464-pat00016
, 오른쪽 위상 영상
Figure 112015123530464-pat00017
을 추출한다.
다음으로, 위상 차 영상에서 강건한 특징을 추출하는 과정을 설명한다.
도 2 및 도 3에 도시된 구조의 센서로 영상을 촬영하는 경우 센서에 들어오는 빛의 양은 줄어들기 때문에, 센서로부터 획득한 영상
Figure 112015123530464-pat00018
는 베이어 패턴에서 초점 열화가 없는 이상적인 영상
Figure 112015123530464-pat00019
보다 밝기가 상대적으로 작은 저조도 영상이다.
따라서 왼쪽 위상 영상
Figure 112015123530464-pat00020
, 오른쪽 위상 영상
Figure 112015123530464-pat00021
역시 저조도 영상이며, 두 영상의 1차 미분값 역시
Figure 112015123530464-pat00022
의 1차 미분값보다 작다. 또한, 저조도 환경에서 ISO 감도를 높일 경우,
Figure 112015123530464-pat00023
는
Figure 112015123530464-pat00024
의 영향으로 인해 상대적으로 잡음이 차지하는 비중이 높아지고, 물체에 반사되어 들어오는 영상이 정 초점 영상이 아닌 경우
Figure 112015123530464-pat00025
는
Figure 112015123530464-pat00026
와의 컨볼루션에 의해 초점 열화가 존재하게 된다.
이를 해결하기 위해 특징 추출부(20)는 먼저 잡음에 강인한 영상의 고주파 성분을 얻기 위해서
Figure 112015123530464-pat00027
에서 가우시안 차분(DoG)를 수행한다. 가우시안 차분(DoG)을 수행한 결과는 다음과 같은 수식으로 표현될 수 있다.
Figure 112015123530464-pat00028
여기서
Figure 112015123530464-pat00029
는 가우시안(Gaussian) 함수의 크기 변수,
Figure 112015123530464-pat00030
는 가우시안(Gaussian) 커널의 계수, 그리고 k, s는 각각 x, y에 대한 이웃 화소이다. 그리고
Figure 112015123530464-pat00031
에 대해 다음을 만족하도록 0 ~ 0.5 사이의 값으로 정규화한다.
Figure 112015123530464-pat00032
특징 추출부(20)는 초점 열화에 강인한 특징을 추출하기 위해, 서로 다른 크기 변수를 가진 두 영상을 다운 샘플링한 후, 다시 업 샘플링하여 두 영상을 차분한 영상을 이용한다. 크기 변수가 다른 두 영상의 차분 영상은 다음과 같이 정의된다.
Figure 112015123530464-pat00033
여기서 Kj는 크기 변수,
Figure 112015123530464-pat00034
는 결과 영상이다.
Figure 112015123530464-pat00035
는 샘플링 크기 변수에 따라 산술 평균 필터를 적용하였으므로 잡음 성분이 줄어들며, 샘플링의 반복적인 수행으로 인해 강건한 엣지 정보를 가지고 있다. 그리고
Figure 112015123530464-pat00036
역시 다음과 같이 정규화한다.
Figure 112015123530464-pat00037
그리고 특징 추출부(20)는 상기에서 구한 두 영상을 더하여 가장 강건한 엣지 성분을 검출한다. 두 영상을 더한 영상은 다음과 같이 정의될 수 있다.
Figure 112015123530464-pat00038
여기서
Figure 112015123530464-pat00039
는 밝기 값이 합산된 결과이다.
Figure 112015123530464-pat00040
,
Figure 112015123530464-pat00041
는 <수학식 3> 및 <수학식 5>에서 0 ~ 0.5의 값으로 정규화되었으므로
Figure 112015123530464-pat00042
는 0 ~ 1사이의 값을 갖는다.
Figure 112015123530464-pat00043
의 경우 저조도 영상에서의 잡음을 억제하는 효과는 좋지만 초점 열화 영상에서의 특징점 추출은 어렵다. 반면에
Figure 112015123530464-pat00044
의 경우 초점 열화 영상에서의 특징점 추출에는 강인하지만 잡음에는 상대적으로 취약하다.
따라서
Figure 112015123530464-pat00045
에서 밝기 값이 1에 가까운 화소를 특징점으로 가정할 수 있다. 최종적으로,
Figure 112015123530464-pat00046
로부터 특징이 강건한 영역에 대한 좌표를 획득함으로써 이 좌표를 중심으로
Figure 112015123530464-pat00047
로부터 잘라낸 영상
Figure 112015123530464-pat00048
을 획득한다. 영상
Figure 112015123530464-pat00049
역시 획득한 좌표를 이용하여
Figure 112015123530464-pat00050
로부터 획득한다.
도 6은 도 4의 특징 추출부(30)의 특징 추출 과정을 설명하기 위한 흐름도이다. 본 발명은 가우시안 함수의 크기 변수
Figure 112015123530464-pat00051
, 크기 변수 Kj를 조절하여 특징 영상을 추출한다.
도 6을 참고하면, 특징 추출부(30)는 크기 변수 Kj를 조절하여
Figure 112015123530464-pat00052
로부터 계층적인 다운 샘플링 영상을 추출한다.
Figure 112015123530464-pat00053
는 서로 다른 Kj값을 가진 두 영상의 차분 결과이므로 Kj와 Kj+1은 정수 배가 되어야 한다. 본 실시예는
Figure 112015123530464-pat00054
로 정의한다.
또한, 특징 추출부(30)는 가우시안 함수의 크기 변수
Figure 112015123530464-pat00055
에 따라
Figure 112015123530464-pat00056
로부터 계층적인 열화 영상을 추출한다.
Figure 112015123530464-pat00057
는
Figure 112015123530464-pat00058
와
Figure 112015123530464-pat00059
의 차이에 따라 엣지의 강도가 결정된다. 본 실시예는 강건한 엣지 검출을 위해
Figure 112015123530464-pat00060
로 정의한다.
도 7은 위상 차 영상의 생성 과정을 설명하기 위한 도면이다.
도 3 및 7을 참고하면, 촬상 소자로부터 차단막이 오른쪽에 설치된 경우 광원은 상대적으로 촬상 소자의 왼쪽에 모이고, 차단막이 왼쪽에 설치된 경우 광원은 상대적으로 촬상 소자의 오른족에 모인다.
최초의 입력 영상
Figure 112015123530464-pat00061
으로부터 측거점에 의해 샘플링을 할 경우 차단막으로 인해 수평 축 정보가 대칭적으로 벌어진 두 위상 영상이 획득되고, 두 위상 영상의 고주파 성분은 수평 축에 대해 차이가 발생한다. 하지만 수직 축의 경우, 화소의 수직 성분 전체에 걸쳐서 촬상 소자에 빛이 맺히기 때문에 두 위상 영상에서 차단막에 의한 위상 차이는 존재하지 않는다.
도 7의 (a)와 같이 실상의 물체는 빛의 반사 과정을 통해 카메라에 입력되며, 도 7의 (b)와 같이 초점 열화 함수
Figure 112015123530464-pat00062
과
Figure 112015123530464-pat00063
에 의해 열화된 두 영상
Figure 112015123530464-pat00064
과
Figure 112015123530464-pat00065
은 각각 센서의 홀수와 짝수 열에서 샘플링된다.
도 7의 (c)와 같이, 홀수 열과 짝수 열의 화소들이 바라보는 물체의 각도는 서로 다르기 때문에 각 초점의 상태에 따라 위상 차이가 발생하게 된다. 또한, 센서의 측거점 쌍은 하나의 화소 간격으로 위치하기 때문에 소수점 단위의 위상 차가 발생하게 된다.
본 발명은 움직임 벡터를 추정하기 위해 위상 상관(phase correlation)과 블록 매칭(block matching) 방법을 사용하며, 소수점 단위의 계산을 위해 계층적인 보간(interpolation) 방법을 사용한다.
먼저 움직임 추정을 위한 위상 상관(phase correlation)에 대하여 설명한다.
특징 영상의 파워 스펙트럼을 계산하기 위해 두 특징 영상을 푸리에(Fourier) 변환한 후 교차상관 관계를 구한다. 푸리에 변환을 수행한 두 개의 특징 영상의 교차 상관 관계는 다음과 같이 정의된다.
Figure 112015123530464-pat00066
여기서
Figure 112015123530464-pat00067
는 (x,y)와 대응되는 주파수 공간 좌표를 나타내며,
Figure 112015123530464-pat00068
은
Figure 112015123530464-pat00069
의 켤레(conjugate) 결과,
Figure 112015123530464-pat00070
,
Figure 112015123530464-pat00071
은 각각
Figure 112015123530464-pat00072
과
Figure 112015123530464-pat00073
의 푸리엔(Fourier) 변환 결과이며,
Figure 112015123530464-pat00074
는 교차 상관 관계 수행 결과이다. 그리고
Figure 112015123530464-pat00075
에 대해 다시 역 푸리에 변환을 취한 후 최대 지점을 움직임 벡터로 획득한다.
움직임 벡터는 다음과 같이 정의된다
Figure 112015123530464-pat00076
여기서
Figure 112015123530464-pat00077
는
Figure 112015123530464-pat00078
의 역 푸리에 변환 결과이며,
Figure 112015123530464-pat00079
는 두 위상 영상의 위상 차이이다.
Figure 112015123530464-pat00080
의 결과는 공간 좌표 (x,y)에서의 움직임 정도이며, 따라서 두 영상의 최종 움직임 좌표는
Figure 112015123530464-pat00081
의 값이 가장 큰 지점이 된다. 즉, 두 영상의 고주파 성분이 같은 화소 위치에 존재한다면
Figure 112015123530464-pat00082
이 성립된다.
다음으로 움직임 추정을 위한 블록 매칭(block matching)을 설명한다.
블록 매칭 방법은 위상 상관과 달리 공간 상의 좌표들을 블록 단위로 평가함으로써 변위를 측정한다. 한 영상에서 블록 안에 포함되는 각 화소의 밝기 값을 다른 영상과 비교하며, 비교한 화소들의 오차가 가장 적은 비교 영상의 블록을 선택함으로써, 두 블록의 움직임을 추정한다.
블록의 매칭은 크게 3단계로 분류될 수 있다. 먼저, 두 영상의 정합을 위한 평가 방법을 정의하고, 블록의 이동을 위한 비교 영역의 탐색 전략을 수립하며, 마지막으로, 블록의 크기를 결정함으로써 계층적, 혹은 적응적 전략을 수립한다.
첫 단계에서 사용되는 블록들의 평가 방법으로는 최소 평균 제곱 오류(minimum mean square error, MSE), 최소 평균의 절대값 차분(mean absolute difference, MAD), 그리고 절대값 차분의 합(sum of absolute difference, SAD) 등이 있다. 본 실시예는 구현의 편리함, 각 화소 차분의 절대적 차이의 신뢰성을 보장하기 위해서 절대값 차분의 합(SAD) 방법을 사용한다.
절대값 차분의 합(SAD)은 다음과 같이 정의된다.
Figure 112015123530464-pat00083
여기서 (d1,d2)는 두 비교 영상의 변위 벡터이며, (n1,n2)는 비교하려는 기준 화소, s1(n1,n2)는 기준 영상, s2(n1,n2)은 비교하려는 영상을 나타낸다.
다음 단계인 탐색 전략의 경우, 실험의 정확성을 위하여 특징을 추출한 영상의 크기로부터 너비와 높이를 각각 2배 감소시킨 가운데 영상을 블록으로 정의하고, 특징 추출 영상 자체를 탐색 범위로 설정하여 전 구간 탐색 방법을 사용한다. 마지막으로, 소수점 단위의 변위 벡터를 추정하기 위하여 특징 추출로부터 정의된 영상 중 왼쪽 위상 영상을 0.001 단위로 이동함으로써 계층적인 블록 매칭을 수행한다.
마지막으로 움직임 추정을 위한 계층적인 보간법(Interpolation)을 설명한다. 도 8은 움직임 추정을 위한 계층적인 보간법을 설명하기 위한 도면이다.
도 8을 참고하면, 먼저 왼쪽 특징 영상
Figure 112015123530464-pat00084
을 [-5, 5] 범위에서 하나의 화소 단위로 이동시키기 위해 보간법(interpolation)을 수행한다. 그리고 각각 이동된 영상에 대해 변위를 계산한 후, 그 결과가 (0,0)에 가장 가까운
Figure 112015123530464-pat00085
를 검색함으로써 하나의 화소 단위에서의 영상의 움직임을 추정한다.
만약
Figure 112015123530464-pat00086
의 최소값이 (0,0)이 아닌 경우, 움직임 추정 결과가 (0,0)과 가장 가까운 두 보간 값에 대해 평균 값을 최종 움직임 값으로 획득한다. 다음으로, 정수 화소 단위로 이동된
Figure 112015123530464-pat00087
을 0.1 단위로 [-1, 1] 범위에 대해 다시 보간을 수행하며, 전 단계와 마찬가지로 값이 가장 작은
Figure 112015123530464-pat00088
를 구한다.
즉, 영상의 보간 단위를 점차 줄이면서 소수점 단위의 움직임 벡터를 추정한다.
센서에서 모든 홀수 번째 열 화소들은 각 화소의 왼쪽 영역에 광원이 들어오며, 짝수 번째는 반대 영역에 빛이 맺힌다. 따라서 본 실시예는
Figure 112015123530464-pat00089
축으로만 영상을 이동시키며, 움직임 측정 결과 역시
Figure 112015123530464-pat00090
만을 반영하며,
Figure 112015123530464-pat00091
은 카메라 모듈에 이미 정의되어 있는 것으로 구성할 수 있다.
본 실험에서는 2,010만 화소 APS-C 크기의 CIS와 F1.8 조리개의 50mm 렌즈를 이용한 시스템을 사용하였다.
첫 번째 실험은 일반적인 실내 광원에 해당되는 약 400 lux의 환경에서 진행되었다.
도 9는 각 초점 상태에 따라 촬영된 1616x1080 크기의 실험 영상이다.
도 9의 (a), (b), (c)는 각각 20, 25, 30cm에서 촬영된 왼쪽 위상 영상이며, 도 9의 (d),(e),(f)는 각각 20, 25. 30cm에서 촬영된 오른쪽 위상 영상이다. 본 실험에서는 20 ~ 30cm 범위에서 1cm씩 물체를 움직이며 촬영된 영상 11 세트를 통해 위상 차이를 계산하였다.
도 10은 도 9의 관심 영역에 대한 특징 추출 결과를 도시한 도면으로, x=700, y=550을 중심으로 600 x 1000 영역을 관심 영역으로 지정하여 실험하였다.
도 10의 (a)는 도 9의 (c)에서 위상 상관(phase correlation)을 수행하기 위해 가장 강건한 특징 성분을 포함하고 있는 64 x 64 영역을 획득한 영상이며, 도 10의 (b)는 도 9의 (a)로부터 도 10의 (a)와 동일한 방법으로 획득된 영상이다. 도 10의 (a)는 도 9의 (c)가 정 초점 영상이므로 영상의 다른 영역에 비해 관심 영역의 특징이 강하고 선명하면서 뚜렷한 특징 영상이 획득되는 것을 확인할 수 있으며, 도 10의 (b)는 도 9의 (a)가 실험 영상 중 가장 전 초점 상태이므로 관심 영역의 특징이 도 10의 (a)에 비해 넓고 뚜렷하지 않지만, 피사체 영역에서 가장 강건한 특징이 추출되는 것을 확인할 수 있다.
도 11은 계층적인 위상 상관(phase correlation)을 수행한 결과를 도시한 도면이다.
움직임 추정을 위한 실험은 도 10의 (a)에서 추출된 가장 강한 특징이 있는 영역의 중심 좌표를 구하여 전 초점에서부터 후 초점까지 이 좌표를 중심으로 획득된 영상을 이용하였다. 도 11의 그래프와 같이, 전 초점에서 정 초점을 지나 후 초점으로 이동할수록 선형적인 모양에 가깝게 위상 차이를 보이는 것을 알 수 있다.
두 번째 실험은 20 lux의 저조도 환경에서 첫 번째 실험과 같은 방법으로 수행하였다.
도 12는 2,448 x 1,624의 크기를 가지는 저조도 영상 집합을 도시한 도면이다.
도 12의 (a), (b) (c)는 각각 20, 25, 30cm의 왼쪽 위상 영상이며, 도 12의 (d), (e), (f)는 도 12의 (a), (b), (c)와 같은 방법으로 촬영된 오른쪽 위상 영상 집합이다.
도 13은 좌표 (276, 386)의 위치를 중심으로 하는 600 x 1000 관심 영역의 영상을 도시한다.
빨간 색 영역은 가장 강인한 특징점을 획득한 128 x 128 크기의 영역이다.
도 13의 (a)는 도 12의 (b)의 정 초점 영상에 대한 특징 영상으로, 영상의 잡음이 거의 나타나지 않으므로 강건한 엣지를 가진 특징 영역을 쉽게 추출할 수 있다. 또한, 본 발명은 도 12의 (b)와 같이 도 12의 (a)의 전 초점 영상에서 잡음이 존재함에도 불구하고 강인한 특징 영역을 추출할 수 있다.
도 14의 (a)는 저조도 영상 11 세트의 움직임 추정 결과를 나타낸다. 도 14의(b), (c), (d)는 각각 전 초점, 정 초점, 후 초점 위상 영상 세트이다. 도 14 (a)의 빨간색 추세선과 같이, 본 발명은 저조도의 초점 열화 영상에서도 선형적인 관계로 움직임을 추정할 수 있다.
마지막 실험은 5~100 lux 범위에서 5 lux 단위로 전 초점을 가지는 실험 영상을 획득하고, ISO 감도를 자동으로 설정하였다.
도 15는 각각 10, 40, 70, 100 lux에서 촬영된 1,200 x 1,200 크기의 왼쪽 전 초점 위상 영상이고, 도 16은 도 15의 영상에서 획득한 600 x 600 크기의 특징 추출 영상이다.
여기서 빨강 사각형 영역은 128 x 128 크기의 가장 강건한 특징을 추출한 영역이다. 도 15의 영상이 모두 전 초점의 ISO 감도 및 조도가 서로 다른 영상임에도 불구하고 본 발명의 자동 초점 시스템은 비슷한 영역에서 강인한 특징 영역이 검출됨을 확인할 수 있다.
본 발명은 하이브리드 자동 초점 기술로 활용이 가능한 새로운 센서 기반의 강건하고 정확한 위상 차 자동 초점 시스템이다. 본 발명의 자동 초점 시스템은 저조도와 초점 열화의 발생 조건에서 강인한 특징을 검출하며, 촬상 소자 자체를 위상 차를 구하기 위한 센서로 사용하여 렌즈를 움직이기 위해 두 위상 영상의 움직임 결과를 획득한다.
따라서 물체로부터 반사되어 센서로 들어오는 광축과 외부 충격에 강건하다. 실험 결과에서 보인 바와 같이, 본 발명의 자동 초점 시스템은 렌즈가 움직여야 할 변위를 정확하게 측정할 수 있다. 따라서 저조도 환경에서 광축과 외부 충격에 강인한 정 초점 영상을 획득할 수 있다. 이러한 측면에서, 본 발명은 추가적인 센서를 설치할 필요 없이 단지 차단막이 씌워진 화소만으로 위상 차이를 획득할 수 있다. 따라서, 본 시스템은 하이브리드 자동 초점 시스템에 탑재되어 정 초점 영상 획득을 위한 편의를 제공할 수 있다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 센싱부
200: 자동 초점 제어부
10: 위상 차 영상 추출부
20: 특징 추출부
30: 움직임 추정부

Claims (13)

  1. 영상을 센싱하는 센싱부; 및
    상기 영상으로부터 위상 차 영상을 추출하고, 상기 위상 차 영상으로부터 잡음 및 초점 열화에 대하여 미리 설정된 기준을 만족하는 강건한 특징(Feature) 영상을 추출하며, 상기 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정하는 자동 초점 제어부;를 포함하되,
    상기 자동 초점 제어부에는
    상기 영상에서 미리 정해진 관심 영역을 선택하고, 상기 관심 영역의 영상 및 미리 정의된 측거점 패턴 영상에 대응하여 제1 위상 차 영상 및 제2 위상 차 영상을 추출하는 위상 차 영상 추출부;
    상기 제1 위상 차 영상 및 상기 제2 위상 차 영상 중 어느 하나의 영상에 대응하여 잡음에 강건한 제1 차분 영상과 초점 열화에 강건한 제2 차분 영상을 획득하고 상기 제1 차분 영상 및 상기 제2 차분 영상을 이용하여 특징이 강건한 영역에 대한 좌표를 획득하며, 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상으로부터 상기 좌표에 해당하는 상기 특징 영상을 추출하는 특징 추출부; 및 상기 특징 영상에서 상기 움직임 벡터를 추정하는 움직임 추정부;가 구비된 자동 초점 시스템.
  2. 제 2 항에 있어서, 상기 위상 차 영상 추출부는
    상기 영상에 대하여 미리 정의된 위치와 크기의 상기 관심 영역을 설정하는 관심영역 설정부;
    상기 관심 영역의 영상과 상기 측거점 패턴 영상을 앤드(AND) 연산하여 측거점 위치의 영상을 취하는 연산부; 및
    상기 측거점 위치의 영상을 샘플링하여 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상을 획득하는 영상 샘플링부;
    를 포함하는 자동 초점 시스템.
  3. 제 1 항에 있어서, 상기 특징 추출부는
    상기 제1 위상 차 영상에서 가우시안 차분 기법을 적용하여 잡음에 강건한 상기 제1 차분 영상을 획득하는 가우시안 차분부;
    상기 제1 위상 차 영상에서 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 적용하여 초점 열화에 강건한 상기 제2 차분 영상을 획득하는 멀티-스케일 영상 차분부;
    상기 제1 차분 영상 및 상기 제2 차분 영상을 합(SUM) 연산하고 특징이 강건한 영역에 대한 좌표를 획득하는 연산부; 및
    상기 제1 위상 차 영상 및 상기 제2 위상 차 영상에서 상기 좌표에 대응하는 제1 특징 영상 및 제2 특징 영상을 추출하는 특징 영상 생성부;
    를 포함하는 자동 초점 시스템.
  4. 제 1 항에 있어서, 상기 움직임 추정부는
    상기 특징 영상에 대응하여 위상 상관(phase correlation), 블록 매칭(block matching) 및 계층적인 보간(interpolation) 중 하나 이상을 이용하여 상기 움직임 벡터를 추정하는 자동 초점 시스템.
  5. 제 1 항에 있어서, 상기 센싱부는
    베이어 색상 배열 패턴을 가지는 화소들을 포함하는 센서;를 포함하고,
    상기 센서는 위상 영상을 획득하기 위한 측거점으로 상기 화소 전체를 이용하도록 설정된 자동 초점 시스템.
  6. 제 5 항에 있어서, 상기 화소는
    광을 전달하는 마이크로 렌즈;
    상기 광의 일부를 차단하는 차단막; 및
    상기 차단막에 의하여 일부가 차단된 상기 광을 수광하는 촬상 소자;를 포함하고,
    상기 차단막은 일 방향으로 홀수 번째 화소와 짝수 번재 화소 간에 대칭되도록 배치되는 자동 초점 시스템.
  7. (a) 센싱된 영상으로부터 위상 차 영상을 추출하는 단계;
    (b) 상기 위상 차 영상으로부터 잡음 및 초점 열화에 대하여 미리 설정된 기준을 만족하는 강건한 특징(Feature) 영상을 추출하는 단계; 및
    (c) 상기 특징 영상으로부터 렌즈 이동을 위한 움직임 벡터를 추정하는 단계;를 포함하되,
    상기 (a) 단계에는
    상기 센싱된 영상에서 미리 정의된 관심 영역을 선택하는 단계;
    상기 관심 영역의 영상 및 미리 정의된 측거점 패턴 영상에 대응하여 제1 위상 차 영상 및 제2 위상 차 영상을 추출하는 단계가 더 포함되는 자동 초점 방법.
  8. 제 7 항에 있어서, 상기 (a) 단계는
    상기 센싱된 영상을 미리 정의된 위치와 크기를 가지는 관심 영역의 영상으로 재 구성하는 단계;
    상기 관심 영역의 영상과 상기 측거점 패턴 영상을 앤드(AND) 연산하여 측거점 위치의 영상을 획득하는 단계; 및
    상기 측거점 위치의 영상을 샘플링하여 상기 제1 위상 차 영상 및 상기 제2 위상 차 영상을 획득하는 단계;
    를 포함하는 자동 초점 방법.
  9. 제 7 항에 있어서, 상기 (b) 단계는
    상기 위상 차 영상에서 잡음에 강건한 제1 차분 영상과 초점 열화에 강건한 제2 차분 영상을 획득하는 단계;
    상기 제1 차분 영상 및 상기 제2 차분 영상을 이용하여 특징이 강건한 영역에 대한 좌표를 획득하는 단계; 및
    상기 위상 차 영상으로부터 상기 좌표에 해당하는 상기 특징 영상을 추출하는 단계;
    를 포함하는 자동 초점 방법.
  10. 제 7 항에 있어서, 상기 (b) 단계는
    제1 위상 차 영상에서 가우시안 차분 기법을 적용하여 잡음에 강건한 제1 차분 영상을 획득하는 단계;
    상기 제1 위상 차 영상에서 피라미드 방법으로 재구성된 영상들 간의 차분 기법을 적용하여 초점 열화에 강건한 제2 차분 영상을 획득하는 단계;
    상기 제1 차분 영상 및 상기 제2 차분 영상을 합 연산하여 특징이 강건한 영역에 대한 상기 좌표를 획득하는 단계; 및
    상기 제1 위상 차 영상 및 상기 제2 위상 차 영상으로부터 상기 좌표에 대응하는 제1 특징 영상 및 제2 특징 영상을 추출하는 단계;
    를 포함하는 자동 초점 방법.
  11. 제 7 항에 있어서, 상기 (c) 단계는
    상기 특징 영상에서 위상 상관(phase correlation), 블록 매칭(block matching) 및 계층적인 보간(interpolation)을 이용하여 상기 움직임 벡터를 추정하는 과정을 포함하는 자동 초점 방법.
  12. 삭제
  13. 삭제
KR1020150180365A 2015-12-16 2015-12-16 자동 초점 시스템 및 방법 KR102477757B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150180365A KR102477757B1 (ko) 2015-12-16 2015-12-16 자동 초점 시스템 및 방법
US15/140,202 US9854152B2 (en) 2015-12-16 2016-04-27 Auto-focus system for a digital imaging device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150180365A KR102477757B1 (ko) 2015-12-16 2015-12-16 자동 초점 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20170072428A KR20170072428A (ko) 2017-06-27
KR102477757B1 true KR102477757B1 (ko) 2022-12-14

Family

ID=59066724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150180365A KR102477757B1 (ko) 2015-12-16 2015-12-16 자동 초점 시스템 및 방법

Country Status (2)

Country Link
US (1) US9854152B2 (ko)
KR (1) KR102477757B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10284875B2 (en) * 2016-08-08 2019-05-07 Qualcomm Incorporated Systems and methods for determining feature point motion
GB2574428B (en) 2018-06-06 2020-06-10 Visidon Oy Image registering method and apparatus
WO2020107480A1 (zh) * 2018-11-30 2020-06-04 深圳市大疆创新科技有限公司 图像特征点的评价方法和可移动平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335606A1 (en) * 2011-03-31 2013-12-19 Fujifilm Corporation Imaging device and focus control method

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5061188B2 (ja) * 2007-07-09 2012-10-31 パナソニック株式会社 デジタル一眼レフカメラ
JP5753371B2 (ja) 2010-11-25 2015-07-22 キヤノン株式会社 撮像装置およびその制御方法
JP5853594B2 (ja) * 2011-10-31 2016-02-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5932363B2 (ja) 2012-01-26 2016-06-08 キヤノン株式会社 撮像装置およびその制御方法
JP5914055B2 (ja) 2012-03-06 2016-05-11 キヤノン株式会社 撮像装置
JP5947602B2 (ja) 2012-04-11 2016-07-06 キヤノン株式会社 撮像装置
JP5942757B2 (ja) * 2012-09-28 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP5911445B2 (ja) 2013-03-19 2016-04-27 キヤノン株式会社 撮像装置及びその制御方法
JP2015233270A (ja) * 2014-05-13 2015-12-24 キヤノン株式会社 撮像装置およびその制御方法
JP6317635B2 (ja) * 2014-06-30 2018-04-25 株式会社東芝 画像処理装置、画像処理方法及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130335606A1 (en) * 2011-03-31 2013-12-19 Fujifilm Corporation Imaging device and focus control method

Also Published As

Publication number Publication date
US20170180627A1 (en) 2017-06-22
KR20170072428A (ko) 2017-06-27
US9854152B2 (en) 2017-12-26

Similar Documents

Publication Publication Date Title
US9729779B2 (en) Phase detection autofocus noise reduction
US8970770B2 (en) Continuous autofocus based on face detection and tracking
US10326927B2 (en) Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program
US8203645B2 (en) Image-pickup apparatus and control method thereof with image generation based on a detected spatial frequency
US20170090149A1 (en) Phase detection autofocus arithmetic
WO2021000483A1 (en) Automatic focus distance extension
US9521312B2 (en) Focus detection apparatus, control method for the same, and image capture apparatus
US10033919B2 (en) Focus adjusting apparatus, focus adjusting method, image capturing apparatus, and storage medium
US8855479B2 (en) Imaging apparatus and method for controlling same
US20090080876A1 (en) Method For Distance Estimation Using AutoFocus Image Sensors And An Image Capture Device Employing The Same
US9438887B2 (en) Depth measurement apparatus and controlling method thereof
US20120249816A1 (en) Focus direction detection confidence system and method
US20150092091A1 (en) Processing device, image pickup device and processing method
US9967451B2 (en) Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
KR102477757B1 (ko) 자동 초점 시스템 및 방법
US20170208311A1 (en) Image processing apparatus, image capturing apparatus, and storage medium for storing image processing program
Chan et al. Enhancement of phase detection for autofocus
KR20170110695A (ko) 화상처리방법, 화상처리장치 및 촬상 장치
US10999491B2 (en) Control apparatus, image capturing apparatus, control method, and storage medium
JP2013254166A (ja) 撮像装置及びその制御方法
US20160212364A1 (en) Imaging apparatus and image processing method
US10747089B2 (en) Imaging apparatus and control method of the same
US20240089597A1 (en) Image capturing apparatus for capturing and compositing images different in in-focus position, control method, and storage medium
US10530985B2 (en) Image capturing apparatus, image capturing system, method of controlling image capturing apparatus, and non-transitory computer-readable storage medium
Koh et al. Autofocus method using similarity measure based on inter-color channel correlation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant