KR100577523B1

KR100577523B1 - 적응적인 자동 초점 조절 장치 및 그 방법

Info

Publication number: KR100577523B1
Application number: KR1020040059496A
Authority: KR
Inventors: 정병근; 김미랑
Original assignee: 매그나칩 반도체 유한회사
Priority date: 2004-07-29
Filing date: 2004-07-29
Publication date: 2006-05-10
Also published as: KR20060010905A

Abstract

본 발명은 주어진 환경에 상관없이 적응적으로 초점을 찾을 수 있는 적응형 자동 초점 조절 장치 및 적응형 자동 초점 조절 방법을 제공하기 위한 것으로, 이를 위해 본 발명은, 주어진 이미지 환경에 따라 적응적으로 초점 값을 획득하는 윈도우의 크기를 단계 별로 조절하고, 상기 윈도우로 부터 분할된 영역의 크기를 조절하며 상기 각 영역 별로 적용될 가중치와 경계 검출 필터를 선택하는 분할/선택부; 선택된 경계 검출 필터 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 초점 값 계산부; 및 저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 선택적으로 억제하는 초점 값 억제부를 포함하는 자동 초점 조절 장치를 제공한다.

또한, 본 발명은, 주어진 이미지의 환경에 따라 초점 값 획득을 위한 윈도우의 크기를 결정하는 단계; 상기 윈도우로 부터 영역을 분할하는 단계; 주어진 이미지의 환경에 따라 경계 검출 필터를 선택하는 단계; 선택된 경계 검출 필터에서의 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 단계; 및 저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 억제하는 단계를 포함하는 자동 초점 조절 방법을 제공한다.

이미지센서, 자동 초점 조절(Auto Focus control), 초점 값 억제(Focus value suppression), 가중치, 소벨 필터, 라플라시안 필터, 고역 통과 필터.

Description

적응적인 자동 초점 조절 장치 및 그 방법{APPARATUS FOR ADAPTIVE AUTO FOCUS CONTROL AND AUTO FOCUS CONTROLLING METHOD}

도 1은 자동 초점 조절 장치를 개략적으로 도시한 블럭도.

도 2는 도 1에 의한 초점 값 곡선을 도시한 그래프.

도 3은 본 발명의 일실시예에 따라 자동 초점 조절 장치를 갖는 이미지센서 시스템을 도시한 블럭도.

도 4는 적응형 자동 초점 조절 장치를 도시한 블럭도.

도 5는 영상에서 초점 값을 획득하는 윈도우의 크기 및 분할 영역의 가중치의 예를 도시한 도면.

도 6은 경계 검출 필터 마스크 패턴의 예를 도시한 도면.

도 7은 화면의 밝기에 따라 변하는 초점 값을 가변 증폭기의 이득 값을 이용하여 선형적으로 억제하는 방식을 도식화한 그래프.

* 도면의 주요부분에 대한 부호의 설명 *

400 : 분할/선택부 410 : 초점 값 계산부

420 : 초점 값 억제부

본 발명은 자동 초점 조절 장치 및 그 방법에 관한 것으로 특히, 이미지센서 시스템에서의 적응형 자동 초점 조절 장치 및 그 방법에 관한 것이다.

최근의 이미지센서 시스템에서 자동 초점 조절(Auto Focus Control) 기능이 이미지센서의 필수적인 기능으로 자리잡았으며, 다양한 환경 하에서 얼마나 선명하게 초점을 맞추어 보여주는 가가 이미지센서의 기능을 결정하는 기준이 되고 있다.

자동 초점 조절 시스템은, 초점 값을 검출하는 부분과 초점 값을 평가하여 초점 렌즈를 제어하는 부분으로 나누어진다. 정확한 초점을 위해서는 정확한 초점 값을 검출하는 과정이 매우 중요하다.

자동 초절 조절 기술은 화소에서 얻은 영상의 특성을 분석하여 영상의 고주파 성분인 경계(Edge) 정보에서 초점 값(Focus value)이 가장 높은 곳으로 렌즈 위치를 조정하여 가장 선명한 화면을 얻는데 그 목적이 있다.

도 1은 자동 초점 조절 장치를 개략적으로 도시한 블럭도이며, 도 2는 도 1에 의한 초점 값 곡선을 도시한 그래프이다.

도 1을 참조하면, 자동 초점 조절 장치는 영상 신호를 입력받는 렌즈(100)와, 렌즈(100)를 통해 입력된 영상 신호의 특성을 분석하여 초점 값을 산출하는 초점 값 검출부(101)와, 초점 값 검출부(101)를 통해 제공되는 초점 값을 이용하여 영상의 공간 주파수를 평가하여 초점 렌즈를 구동시키는 모터 제어신호를 발생시키 는 초점 값 평가부(102)와, 모터 제어신호에 응답하여 렌즈(100)를 구동시키기 위한 렌즈 구동부(103)를 구비하여 구성된다.

도 2에 도시된 초점 값 곡선의 예에서 볼 수 있듯이, 초점 값이 커지는 방향으로 계속 이동하다가 그 값이 감소하면 이전 위치로 이동한 후에 정지한다. 따라서, 자동 초점 조절 알고리즘(Algorithm)이 좋은 성능을 갖기 위해서는 다양한 환경에서도 초점이 맞는 위치에서 초점 곡선이 예리함을 가지고 있어야 하며, 잡음으로 인해 생길 수 있는 최대 값으로 렌즈가 불안정한 동작을 하지 않도록 해야 한다.

종래의 자동 초점 조절 시스템에서는 상의 초점을 자동적으로 정확하게 측정하기 위해서 이산 퓨리에 변환(Discrete fourier Transform; 이하 DFT라 함)을 이용하여 공간 주파수의 분포에 관한 정보를 얻어 파워 스펙트럼(Spectrum)에서 고주파 에너지를 최대화하였다. 이 알고리즘은 정확한 주파수 분포를 알 수 있어 정확도 측면에서 뛰어나지만, 공간 주파수 분포를 알아내기 위해 프레임 버퍼(Frame butter)가 피요하고, 복잡한 연산을 거쳐야하는 단점을 가지고 있다.

자동 초점 조절 시 초점 값(Focus value)을 얻을 때, 초점 값을 찾는 영역(Area)이 좁다면, 초점이 맞는 위치에서 초점 곡선이 초점 값을 찾는 범위가 넓은 것에 비해 예리하기 때문에 초점 값을 찾기는 쉽지만, 화상이 시간에 따라 변화하기 때문에 너무 작은 면적으로 초점을 찾기에는 위험 부담이 있다.

또한, 경계 검출 필터가 하나로 고정되어 있기 때문에 다양한 이미지에 적합한 필터 사용에 한계가 있다.

또한, 만약 어두운 환경이라면 초점 값을 찾을 때 저조도 잡음에 의해 초점에 대한 왜곡이 발생할 수 있다.

상기와 같은 종래 기술의 문제점을 해결하기 위해 제안된 본 발명은, 주어진 환경에 상관없이 적응적으로 초점을 찾을 수 있는 적응형 자동 초점 조절 장치 및 적응형 자동 초점 조절 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위하여 본 발명은, 주어진 이미지 환경에 따라 적응적으로 초점 값을 획득하는 윈도우의 크기를 단계 별로 조절하고, 상기 윈도우로 부터 분할된 영역의 크기를 조절하며 상기 각 영역 별로 적용될 가중치와 경계 검출 필터를 선택하는 분할/선택부; 선택된 경계 검출 필터 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 초점 값 계산부; 및 저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 선택적으로 억제하는 초점 값 억제부를 포함하는 자동 초점 조절 장치를 제공한다.

또한, 상기 목적을 달성하기 위하여 본 발명은, 주어진 이미지의 환경에 따라 초점 값 획득을 위한 윈도우의 크기를 결정하는 단계; 상기 윈도우로 부터 영역을 분할하는 단계; 주어진 이미지의 환경에 따라 경계 검출 필터를 선택하는 단계; 선택된 경계 검출 필터에서의 마스크의 가중치를 이용하여 각 영역에서의 초점 값 을 계산하는 단계; 및 저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 억제하는 단계를 포함하는 자동 초점 조절 방법을 제공한다.

본 발명은 영상에서 초점 값을 획득하는 영역의 크기를 단계 별로 조절가능하며, 초점 값을 획득하는 영역을 분할하여 가중치를 두고 초점 값 계산이 가능하여 보다 쉽고 정확하게 초점 값을 찾을 수 있다.

또한, 자동 초점 조절 장치에서 초점 값을 계산하기 위해 경계 검출 필터(Edge detection filter)를 사용한다. 이 방식은 라인 메모리가 필요하지만, DFT를 사용하는 방식에 비해 비교적 간단한 로직으로 구현 가능하다는 장점이 있다. 이 때, 경계 검출 필터는 이미지 환경에 따라 적응적으로 필터 종류를 바꾸어 적용할 수 있다.

또한, 저조도 잡음에 의한 초점 왜곡에 대비하여 가변 증폭기의 이득 값이 기준 값(Threshold value) 이상이면, 어두운 환경이라고 판단하여 선형적으로 초점 값을 억제한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.

본 발명은 이미지센서를 장착한 시스템에서 거리에 따른 초점을 자동으로 조절하기 위한 방법으로, 2차원 칼라 패턴을 갖는 이미지센서의 특징을 이용한 적응 형 자동 초점 조절 방식을 이용한다.

도 3은 본 발명의 일실시예에 따라 자동 초점 조절 장치를 갖는 이미지센서 시스템을 도시한 블럭도이며. 도 4는 적응형 자동 초점 조절 장치를 도시한 블럭도이다.

도 3을 참조하면, 이미지센서 시스템은 화소 및 신호처리부(301)와 화소 및 신호처리부(301)를 제어하는 제어부(302)로 이루어지는 이미지센서(300)와, 제어부(320)의 자동 초점 조절부(320)로 부터 제공되는 모터 제어신호에 응답하여 렌즈를 구동하기 위한 구동 및 모터부(310)를 구비하여 구성된다.

도 4를 참조하면, 본 발명의 적응형 자동 초점 조절 장치는, 주어진 이미지 환경에 따라 적응적으로 초점 값을 획득하는 윈도우(Window)의 크기를 단계 별로 조절하고, 윈도우로부터 분할된 영역의 크기를 조절하며 각 영역 별로 적용될 가중치와 경계 검출 필터를 선택하는 분할/선택부(400)와, 선택된 경계 검출 필터 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 초점 값 계산부(410)와, 저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 초점 값을 선택적으로 억제하는 초점 값 억제부(420)를 구비하여 구성된다.

도 5는 영상에서 초점 값을 획득하는 윈도우의 크기 및 분할 영역의 가중치의 예를 도시한 도면이다.

먼저, 이미지 환경에 따라 적응적으로 초점 값을 획득하는 윈도우의 크기, 각 영역 별로 가중치와 경계 검출 필터를 선택하는 역할을 하는 분할/선택부(400)의 동작을 살펴 본다.

자동 초점시 초점 값을 얻을 때 초점 값을 찾는 영역이 좁다면, 초점 값을 찾는 범위가 넓은 것에 비해 초점 값을 찾는 것은 쉽다. 하지만, 화상이 시간에 따라 변화하기 때문에 너무 작은 면적으로 초점을 찾기에는 위험 부담이 있다. 따라서, 초점 값을 획득하는 윈도우의 크기를 상황에 맞게 변화할 수 있다면 초점 값을 찾는데 큰 이점이 있다.

즉, 도 5의 예에서와 같이 윈도우의 크기를 단계별로 조정하며 초점 값을 찾게 된다. 또한, 윈도우의 영역을 분할해 가중치를 둠으로써 보다 정확한 초점 값을 찾을 수 있다. 이 때 가중치는 주어진 환경에 맞게 조절 가능하다. 또한, 초점 획득 구간에서 경계 검출 필터의 종류를 달리 함으로써, 보다 적응적으로 초점 값을 찾을 수 있다.

도 6은 경계 검출 필터 마스크 패턴의 예를 도시한 도면으로서, 경계 검출 필터의 대표적인 예로 고역 통과 필터(High pass filter)와 소벨 필터(Sobel filter), 라플라시안 필터(Laplacian filter)를 각각 나타내고 있다.

각 필터는 이미지의 경계 분포나 잡음 정도에 따라 교환 가능하다. 예를 들어, 잡음이 많은 환경에서는 잡음에 강한 소벨 필터를 사용하며, 잡음이 별로 없는 평상 시에는 라플라시안 필터를 사용한다.

여기서, 개별 필터의 경계 값은 3*3의 윈도우 화소들 각각에 3*3 경계 검출 필터 마스크의 가중치를 곱한 후, 곱해진 값들의 합으로 볼 수 있다. 이를 수식으로 표현하면 하기의 수학식1과 같다.

E = Σ|I_x,y × a_x,y|

여기서, E는 경계 값을 나타내고, I_x,y는 원 영상의 값을 나타내며, a_x,y는 필터 마스크의 값을 나타내는 바, 경계 값 E는 원 영상의 값 I_x,y와 필터 마스크의 값 a_x,y의 시간 영역에 대한 적분(Convolution)을 실시한 것의 절대 값의 합으로 표현한다.

이 때, 초점 값 획득 영역은 각 구역으로 분할되어 있고 각각의 가중치가 다르므로 이를 고려하여 경계 값들의 합 ES를 계산하면 하기의 수학식2와 같다.

이와 동시에 결정된 초점 값 획득 영역의 화소 수를 카운트하여 카운트의 합 CS를 구하게 되며, 초점 값 F는 하기의 수학식3과 같이 구할 수 있다.

즉, 초점 값 F는 경계 값들의 합 ES에서 카운트의 합 CS로 나눈, 경계 값들의 평균값으로 볼 수 있다.

이 때, 만약 어두운 환경이라면 저조도 잡음으로 인하여 초점 값이 전체적으로 단조 증가하지 않고, 국지적인 최대 값이 발생할 수 있다. 자동초점 조절을 하는데 있어서, 잡음으로 인한 최대 값의 발생은 영상의 초점이 정확히 맞지 않는 위치에서도 불안정한 동작을 일으킬 수 있다.

도 7은 화면의 밝기에 따라 변하는 초점 값을 가변 증폭기의 이득 값을 이용하여 선형적으로 억제하는 방식을 도식화한 그래프이다.

따라서, 이를 방지하기 위해 도 7에 도시된 바와 같이 화면의 밝기에 따라 변하는 가변 증폭기의 이득 값의 크기에 따라 초점 값의 억제를 달리함으로써 해결할 수 있다. 즉, 가변 증폭기의 이득 값에 따라 그 기준 값(Threshold)의 최대 값과 최소 값으로 나눈 후 초점 값을 억제하게 된다.

이 때, 경계 값이 가변 증폭기의 범위를 벗어나는 것을 방지하기 위해 기준 값의 최소 값과 최대 값의 차이는 항상 일정하게 둔다.

이를 자세히 살펴보면, 가변 증폭기의 값이 기준 값의 최소 이하와 같은 일정 밝기 이상일 때는 앞단에서 구한 초점 값을 그대로 사용한다. 기준 최소 값과 기준 최대 값 사이 밝기에서는 가변 증폭기의 값이 커짐에 따라 선형적으로 초점 값을 억제(Suppression)하여 사용한다. 기준 최대 값 이상의 아주 어두운 환경에서의 초점 값은 원래 초점 값의 1/2 이하로 떨어지지 않게 제약을 둔다.

이는 하기의 수학식4로 표현된다.

SubLevel = Edge_Mean * (GainMin-Gain), GainMin ＜ Gain ＜ GainMax

SubLevel = Edge_Mean , Gain ≤ GainMin

SubLevel = Edge_Mean * SubMin , Gain ≥ GainMax

이처럼 구해진 초점 값은 도 1에 도시된 바와 같은 초점 값 평가부를 거쳐 렌즈가 초점에 맞게 렌즈를 구동하게 된다.

전술한 바와 같이 이루어지는 본 발명은, 영상에서 초점 값을 획득하는 영역의 크기, 분할된 영역의 가중치, 초점 값을 획득하는 필터의 다양한 적용을 그 특징으로 하기 때문에 주어진 환경에 적응적으로 자동 초점 획득이 가능하며, 화면의 밝기에 따라 구간을 나누어 초점 값의 억제 정도를 조절하여 어두운 곳에서 야기될 수 있는 초점 왜곡을 감소시킬 수 있으며, 기존의 방법보다 계산 과정이 간단하여 처리 시간을 크게 줄일 수 있으며, 이로 인해 하드웨어의 크기가 작도록 구현할 수 있음을 실시 예를 통해 알아보았다.

본 발명의 기술 사상은 상기 바람직한 실시예에 따라 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술 분야의 통상의 전문가라면 본 발명의 기술 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.

상술한 본 발명은, 주어진 환경에 적응적으로 자동 초점 조절을 할 수 있고, 조도에 따라 야기될 수 있는 초점 왜곡을 감소시킬 수 있어, 자동 초점 조절 장치를 이용하는 시스템의 성능을 향상시키는 효과가 있다.

또한, 종래에 비해 하드웨어의 크기를 줄일 수 있어 생산성 및 집적도를 높이는 효과가 있다.

Claims

주어진 이미지 환경에 따라 적응적으로 초점 값을 획득하는 윈도우의 크기를 단계 별로 조절하고, 상기 윈도우로 부터 분할된 영역의 크기를 조절하며 상기 각 영역 별로 적용될 가중치와 경계 검출 필터를 선택하는 분할/선택수단;

선택된 경계 검출 필터 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 초점 값 계산수단; 및

저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 선택적으로 억제하는 초점 값 억제수단

을 포함하는 자동 초점 조절 장치.
제 1 항에 있어서,

상기 초점 값 계산수단은,

상기 각 영역 별로 소정의 크기의 경계 검출 필터 마스크의 가중치를 곱한 후, 곱해진 값들의 합을 이용하여 화소의 경계 값을 검출하고, 모든 영역에서 얻어진 화소의 경계 값을 합산하여 ES를 산출하며, 상기 ES를 초점 값 획득 영역의 모든 화소의 수를 카운트한 CS로 나눈 것을 초점 값으로 하는 것을 특징으로 하는 자동 초점 조절 장치.
제 1 항에 있어서,

상기 초점 값 억제수단은,

가변 증폭기의 기준 값에 따라 최소 값과 최대 값의 구간을 나눈 후 상기 초점 값을 억제하는 것을 특징으로 하는 자동 초점 조절 장치.
제 3 항에 있어서,

상기 기준 값의 최대 값과 최소 값의 차이는 항상 일정한 것을 특징으로 하는 자동 초점 조절 장치.
제 4 항에 있어서,

상기 가변 증폭기의 값이 기준 값의 최소 값보다 작은 일정 밝기 이상에서는 상기 초점 값을 그대로 사용하고, 상기 가변 증폭기의 값이 최대 값과 최소 값의 사이일 경우에는 상기 가변 증폭기의 값이 커짐에 따라 상기 초점 값을 선형적으로 억제하며, 상기 가변 증폭기의 값이 상기 최대 값 보다 큰 경우에는 상기 초점 값의 1/2 이하가 되지 않도록 하는 것을 특징으로 하는 자동 초점 조절 장치.
제 1 항 또는 제 2 항에 있어서,

상기 경계 검출 필터는 고역 통과 필터, 소벨 필터 또는 라플라시안 필터 중 어느 하나를 포함하는 것을 특징으로 하는 자동 초점 조절 장치.
주어진 이미지의 환경에 따라 초점 값 획득을 위한 윈도우의 크기를 결정하는 단계;

상기 윈도우로 부터 영역을 분할하는 단계;

주어진 이미지의 환경에 따라 경계 검출 필터를 선택하는 단계;

선택된 경계 검출 필터에서의 마스크의 가중치를 이용하여 각 영역에서의 초점 값을 계산하는 단계; 및

저조도 잡음에 대한 영향을 줄이기 위해 조도에 따라 상기 초점 값을 억제하는 단계

를 포함하는 자동 초점 조절 방법.
제 7 항에 있어서,

상기 초점 값을 계산하는 단계는,

상기 각 영역 별로 소정의 크기의 경계 검출 필터 마스크의 가중치를 곱하는 단계와, 곱해진 값들의 합을 이용하여 화소의 경계 값을 검출하는 단계와, 모든 영 역에서 얻어진 화소의 경계 값을 합산하여 ES를 산출하는 단계와, 상기 ES를 초점 값 획득 영역의 모든 화소의 수를 카운트한 CS로 나누어 초점 값을 산출하는 단계를 포함하는 것을 특징으로 하는 자동 초점 조절 방법.
제 7 항에 있어서,

상기 초점 값을 억제하는 단계는,

가변 증폭기의 기준 값에 따라 최소 값과 최대 값의 구간을 나눈 후 상기 초점 값을 억제하는 것을 특징으로 하는 자동 초점 조절 방법.
제 9 항에 있어서,

상기 기준 값의 최대 값과 최소 값의 차이는 항상 일정한 것을 특징으로 하는 자동 초점 조절 방법.
제 10 항에 있어서,

상기 초점 값을 억제하는 단계에서,

상기 가변 증폭기의 값이 기준 값의 최소 값보다 작은 일정 밝기 이상에서는 상기 초점 값을 그대로 사용하고, 상기 가변 증폭기의 값이 최대 값과 최소 값의 사이일 경우에는 상기 가변 증폭기의 값이 커짐에 따라 상기 초점 값을 선형적으로 억제하며, 상기 가변 증폭기의 값이 상기 최대 값 보다 큰 경우에는 상기 초점 값의 1/2 이하가 되지 않도록 하는 것을 특징으로 하는 자동 초점 조절 방법.
제 7 항 또는 제 8 항에 있어서,

상기 경계 검출 필터는 고역 통과 필터, 소벨 필터 또는 라플라시안 필터 중 어느 하나를 포함하는 것을 특징으로 하는 자동 초점 조절 방법.