KR100247938B1

KR100247938B1 - 영상처리 시스템의 디지탈 초점 조절방법 및 장치

Info

Publication number: KR100247938B1
Application number: KR1019970061296A
Authority: KR
Inventors: 김상구; 이철호; 백준기
Original assignee: 윤종용; 삼성전자주식회사
Priority date: 1997-11-19
Filing date: 1997-11-19
Publication date: 2000-03-15
Also published as: US6154574A

Abstract

초점이 맞지 않는 영상의 초점을 디지탈적으로만 조절하는 영상 처리 시스템의 디지탈 초점 조절 방법 및 장치가 개시된다. 이 방법은 초점이 맞지 않는 영상을 소정 크기의 부 영상들로 분할하고, 분할된 부 영상들 각각의 엣지의 방향을 추정하고, 각 엣지의 방향에 대한 계단 함수 응답을 구하고, 소정수개의 계단 함수 응답들을 평균하여 평균 계단 함수 응답을 구하며, 평균 계단 함수 응답을 이용하여 점 확산 함수의 계수들을 구하고, 점 확산 함수의 계수들을 이용하여 영상 열화 전달함수를 구하며, 영상 열화 전달함수를 이용하여 영상 복원 전달함수를 구하며, 영상 복원 전달함수와 초점이 맞지 않는 영상을 주파수 영역상에서 승산하여 초점이 맞는 원래의 영상을 구한다. 그러므로, 실시간으로 영상을 복원하고, 영상 처리 시스템의 부피와 무게를 줄일 수 있는 효과가 있다.

Description

영상 처리 시스템의 디지탈 초점 조절 방법 및 장치{Digital focusing apparatus and method of image processing system}

본 발명은 영상 처리 시스템에 관한 것으로서, 특히, 영상 처리 시스템에서 영상의 맞지 않는 초점을 디지탈적으로 조절하여 원래의 영상을 복원해내는 디지탈 초점 조절 방법 및 장치에 관한 것이다.

초점이 맞지 않는 순차 영상의 복원 문제는 영상 처리 시스템에서 매우 중요한 부분이다. 종래의 영상 처리 시스템에 적용되는 초점 조절 장치는 피사체로 적외선을 투사하고, 피사체로부터 반사되어 나오는 적외선을 수광한다. 이 때, 영상 처리 시스템은 적외선을 투사한 시점부터 피사체로부터 반사되어 되돌아오는 적외선을 수광한 시점까지의 시간 지연을 측정하여 시스템과 피사체까지의 거리를 계산하고, 계산된 거리로부터 초점 거리를 추정한 뒤, 렌즈를 기계적인 구동으로 움직였다.

한편, 최적의 초점 거리를 찾기 위해 디지탈 영상 처리 기술을 결합하는 가장 발달된 형태의 종래의 초점 조절 장치는 디지탈 신호 처리 기술을 사용하여 초점이 맞았는가를 판단하지만, 최적의 초점 상태에 도달하기 위해서는 불가피하게 렌즈를 기계적으로 구동시켜야 한다.

전술한 종래의 초점 조절 장치들은 움직임이 큰 피사체의 초점을 조절할 경우, 렌즈의 기계적인 구동에 의해 시간적인 손실이 발생하여 초점 조절을 실시간으로 처리할 수 없었을 뿐만 아니라, 적외선 장치나 렌즈 구동 모터등의 장착에 따라 부피와 무게등이 증가하는 문제점들이 있었다.

따라서, 초점 렌즈의 기계적인 움직임을 전체적으로든 부분적으로든 순수한 디지탈 영상 처리 기법으로 대체할 필요성이 제기되었다. 또한, 이러한 필요성은 현재 VLSI 기술이나 컴퓨터 과학 기술이 놀라운 정도로 고속화, 고집적화, 저 전력화 및 저 가격화됨에 따라 더욱 절실해지고 있다.

본 발명이 이루고자 하는 기술적 과제는, 초점이 맞지 않는 영상의 초점을 디지탈적으로만 조절하는 영상 처리 시스템의 디지탈 초점 조절 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 디지탈 초점 조절 방법을 수행하는 영상 처리 시스템의 디지탈 초점 조절 장치를 제공하는 데 있다.

도 1은 영상 열화 과정과 복원 과정들을 설명하기 위한 모델이다.

도 2는 본 발명에 의한 디지탈 초점 조절 방법을 설명하기 위한 플로우차트이다.

도 3은 도 2에 도시된 제32단계의 본 발명에 의한 바람직한 일실시예의 플로우차트이다.

도 4a∼4e들은 분류된 엣지 방향의 형태를 나타내는 도면들이다.

도 5a 및 5b들은 반지름 2를 갖는 PSF 및 계단 함수 응답을 설명하기 위한 도면이다.

도 6은 본 발명에 의한 디지탈 초점 조절 장치의 바람직한 일실시예의 블럭도이다.

상기 과제를 이루기 위한 본 발명에 의한 영상 처리 시스템의 디지탈 초점 조절 방법은 초점이 맞지 않는 영상을 소정 크기의 부 영상들로 분할하는 단계와, 분할된 상기 부 영상들 각각의 엣지의 방향을 추정하는 단계와, 상기 각 엣지의 방향에 대한 계단 함수 응답을 구하는 단계와, 소정수개의 상기 계단 함수 응답들을 평균하여 평균 계단 함수 응답[S(X)](1≤X≤R)을 구하는 단계와, 상기 평균 계단 함수 응답을 이용하여 점 확산 함수의 계수들(a₀, a₁, ... a_R-2및 a_R-1)(여기서, R은 상기 점 확산 함수의 반지름이다.)을 아래와 같이 구하는 단계와,

(여기서, Z는 상기 평균 계단 함수 응답의 최대값에서 최소값을 감산한 값을나타낸다.)

상기 점 확산 함수의 계수들을 이용하여 영상 열화 전달함수를 구하는 단계와, 상기 영상 열화 전달함수를 이용하여 영상 복원 전달함수를 구하는 단계 및 상기 영상 복원 전달함수와 상기 초점이 맞지 않는 상기 영상을 주파수 영역상에서 승산하여 초점이 맞는 원래의 영상을 구하는 단계로 구성되는 것이 바람직하다.

상기 다른 과제를 이루기 위한 본 발명에 의한 영상 처리 시스템의 디지탈 초점 조절 장치는 점 확산 함수의 계수들(a₀, a₁, ... a_R-2및 a_R-1)(여기서, R은 상기 점 확산 함수의 반지름)을 아래와 같이 계산하고, 계산된 상기 계수들을 이용하여 주파수 영역에서 표현되는 영상 열화 전달함수를 계산하는 전달함수 계산 수단과,

(여기서, S(X)[1≤X≤R]는 평균 계단 함수 응답을 나타내고, Z는 상기 평균 계단 함수 응답의 최대값에서 최소값을 감산한 값을 나타낸다.)

입력한 상기 영상 열화 전달함수의 절대값을 산출하는 제1 절대값 산출수단과, 상기 절대값을 입력하여 제곱하는 제1 제곱수단과, 입력한 상기 영상 열화 전달함수의 복소 공액을 계산하는 복소 공액 계산 수단과, 입력한 소정 연산자의 절대값을 산출하는 제2 절대값 산출 수단과, 상기 소정 연산자의 절대값을 제곱하는 제2 제곱수단과, 상기 제2 제곱 수단의 출력에 라그랑제(Lagrange) 곱셈자를 승산하는 제1 승산 수단과, 상기 제1 승산 수단의 출력과 상기 제1 제곱 수단의 출력을 가산하는 가산 수단과, 상기 가산수단의 출력을 상기 복소 공액으로 제산하고, 제산된 결과를 영상 복원 전달함수로서 출력하는 제산 수단 및 상기 영상 복원 전달함수와 주파수 영역에서 표현되는 상기 초점이 맞지 않은 영상을 승산하고, 승산된 결과를 초점이 맞는 영상으로서 출력하는 제2 승산수단으로 이루어지는 것이 바람직하다.

이하, 영상 복원의 기본적인 이론에 대해 첨부한 도 1을 참조하여 다음과 같이 살펴본다.

도 1은 영상 열화(blur) 과정과 복원 과정들을 설명하기 위한 모델로서, 영상의 초점을 열화시키는 영상 열화 시스템(10)과 열화된 초점을 복원하는 복원 시스템(또는, 영상 처리 시스템)(20)으로 모델링되어 있다.

도 1에 도시된 영상 열화 시스템(10)의 영상 열화(blur)부(12)는 원래 영상(X)의 초점을 열화시키고, 다음 수학식 1과 같이 주파수 영역(frequency domain)에서 표현되는 초점이 열화된 영상(Y')을 가산기(14)로 출력한다.

Y' = X·H

여기서, H는 영상 열화부(12)의 전달함수인 영상 열화 전달함수를 나타낸다. 또한, 수학식 1은 공간 영역(spacial domain)상에서 영상 열화 전달함수와 원래의 영상(x)(여기서, x는 X를 공간 영역상에서 표현한 것)의 콘볼루션(convolution)으로도 표현될 수 있다.

가산기(14)는 부가적인 백색 가우시안 잡음(N)과 영상 열화부(12)에서 열화된 신호(Y')를 가산하고, 가산된 결과(Y)를 영상 처리 시스템(20)에서 관측되는 초점이 맞지 않는 영상으로서 출력한다.

한편, 영상 처리 시스템(20)의 본 발명에 의한 디지탈 초점 조절 장치(22)는 관측된 영상(Y)으로부터 다음 수학식 2로 표현되는 원래의 영상(

)을 복원해낸다.

= Y·G = (Y' + N)·G = (X·H + N)·G

여기서,

, Y, N 및 X들은 열(column) 벡터들이며, G는 본 발명에 의한 디지탈 초점 조절 장치(22)의 전달함수인 영상 복원 전달함수로서, 다음 수학식 3과 같다.

여기서, H^*는 H의 복소 공액을 나타내고, C'는 선형 고역 통과 필터의 연산자로서 'Kenneth R. Castleman'에 의해 "Digital Image Processing"의 제목으로 저술되고 'Prentice-Hall'출판사로부터 1996년에 출간된 책의 397페이지에 상세히 기술되어 있다. 이 책에서는 C'가 P(n,v)로 나타나 있다. 또한, 후술되는 λ는 라그랑제 곱셈자(Lagrange multiplier)이다.

한편, 주어진 열화 영상(Y)로부터 원래의 영상(

)를 구하는 수많은 방법들이 개발되어 오고 왔다.

전술한 영상 복원 전달함수에 대해 간략하게 살펴보면 다음과 같다.

영상 복원의 문제는 도 1에 도시된 영상 열화 과정의 모델로부터, 원래의 영상(X)과 가장 근접하도록, 열화된 관측 영상(Y)에 역의 과정을 적용하는 것이다. 이러한 역의 과정을 적용하는 것을 'ill-posed problem'이라고 하며, 이 'ill-posed problem'은 원래 영상의 작은 변동이 복원된 영상이 존재하는 해(solution)의 영역에서 무한한 변동으로 나타날 수 있음을 의미한다. 그러므로, 복원된 영상은 해의 영역에서 영상의 부드러움과 거친 정도를 적절하게 유지해주는 방향으로 추정되어야 한다. 이를 위해, 'ill-posed problem'을 'well-posed problem'으로 바꾸는 정칙화(rehularization) 이론에서, 다음 수학식 4의 2차 평활화 함수(smoothing function)[F(λ,x)]는 해의 영역에서 평탄한 영역과 잡음 영역의 기준(norm)을 제한하는 데 사용된다.

F(λ, x) = ∥y-Hx∥²+ λ∥C'x∥²

여기서, 라그랑제 곱셈자 λ는 ∥y-Hx∥²항과 ∥C'x∥²항들중 어느 항에 가중을 둘 것인지를 결정하고, y는 Y를 공간 영역상에서 표현한 것이다. 즉, λ값이 감소되면 복원된 영상에서 잡음 성분은 증가하고, λ값이 증가하면 복원된 영상은 극도로 평활화(ultra smoothed)된다. 그러므로, 함수 F(λ, x)를 최소화시키는 최적의 λ값을 결정해야 한다. 여기서, F(λ, x)를 최소화시키기 위해 소정 λ를 수학식 4에 대입하면, 다음 수학식 5와 같다.

여기서, x^T는 x의 전치행렬을 의미하고, x는 열 벡터로서 xi는 x의 i번째 원소를 나타내며, 벡터 b와 행렬 T'는 각각 다음 수학식 6과 같다.

함수 F(x)의 행렬 T'는 포지티브 세미 디피니티(positive semidefinite)의 성질을 가지며 함수 F(x)를 최소화시키기 위한 조건은 x가 다음 수학식 7과 같은 선형 방정식의 해를 만족시키면 된다. 여기서, 'positive semidefinite 성질'은 'Linear algebra and its applications'라는 제목으로 'GILBERT STRANG'에 의해 저술되고 'SAUNDERS'출판사로부터 1988년에 3차(third edtion)로 출간된 책의 54페이지에 기술되어 있다.

그러므로, x는 다음 수학식 8이 된다.

전술한 수학식 8의 블럭 순환 행렬 방정식을 2차원 이산 푸리에 변환하면, 수학식 3과 같은 영상 복원 전달함수 즉, 제한적 최소 평방(CLS:Constrained Least Square) 필터의 주파수 응답이 구해진다.

이하, 본 발명에 의한 영상 처리 시스템의 디지탈 초점 조절 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 2는 본 발명에 의한 디지탈 초점 조절 방법을 설명하기 위한 플로우차트로서, 평균 계단 함수 응답을 이용하여 점 확산 함수의 계수들을 구하는 단계(제30 ∼ 제38단계), 계수들을 이용하여 초점이 맞는 영상을 디지탈적으로 구하는 단계(제40 ∼ 제44단계)로 이루어진다.

본 발명에 의한 디지탈 초점 조절 방법을 설명하기에 앞서 두가지의 가정이 필요하다. 그중 하나는 어떤 입력 영상이라도 배경화면과 피사체의 사이가 임의의 방향에 대해서 적당한 크기의 엣지를 가지고 있어야 한다는 것이고, 다른 하나는 초점이 흐린 정도가 확산원(COC:Circle Of Confusion)의 모양을 따라 균일하게 분포하고 이것이 입력 영상의 모든 영역에 대하여 불변해야 한다는 것이다.

여기서, COC에 대해 잠시 살펴보면, 초점이 맞지 않는 영상의 흐림 현상은 피사체와 촬상면의 거리가 적절하지 않을 때 발생하며 이것은 피사체 표면의 한 점이 촬상면상의 한 점 즉, 초점의 위치에 대응되지 않고 확산되기 때문이다. 이 확산은 점 광원이 원의 형태로 투영되는 현상으로 근사될 수 있으며, 이 원을 확산원이라고 한다. 그리고, 이 확산원은 영상 처리 시스템을 통과한 영상이 정확한 초점거리에 위치하고 있지 않을 때 발생하며, 점광원이 초점 거리의 앞 또는 뒤에 있을 때 확산원의 형태로 투영된다. 초점이 맞지 않아서 영상이 흐려지면, 영상의 저역 성분이 두드러진다. 그러므로, 초점이 맞지 않는 영상의 흐림 정도는 고주파 성분의 크기로서 알 수 있다. 이 고주파 성분의 크기는 고역 통과 필터를 통과한 열화된 영상의 분산값으로 볼 수 있다. 즉, 필터링된 고주파 성분의 분산이 클수록 영상의 흐림 정도가 적다. 실제로 종래의 많은 디지탈 초점 조절 장치에서는 초점이 맞지 않아서 생기는 영상의 흐림은 적당한 분산값을 가지는 2차원의 가우시안 함수로 모델링된다.

전술한 두가지의 가정하에, 본 발명에 의한 디지탈 초점 방법은 먼저, 초점이 맞지 않은 B×B(여기서, B는 픽셀의 수) 크기의 영상을 P×P(여기서, P는 픽셀의 수) 크기의 영상으로 분할하여 정방형의 부 영상들(sub-images)을 구한다(제30단계). 여기서, B는 P의 배수일 수 있다.

제30단계후에, 부 영상들 각각에 대하여 엣지의 방향을 추정한다(제32단계). 영상의 해석에 있어서, 가장 기본적이고 중요한 문제중의 하나가 엣지 검출과 분류이다. 일반적으로 엣지는 상대적으로 밝기의 변화가 급격하게 변화하는 두 영역의 경계를 의미한다. 제32단계에서는, 블럭 이산 코사인 변환(BDCT:Block Discrete Cosine Transform)을 사용하여 엣지를 분류할 수 있다. 이를 위해, 영상이 열화되는 과정이 선형 공간 불변적이거나 또는 영상 열화 전달함수(H)가 블럭 토플리츠(block Toeplitz) 행렬이면서 블럭 순환 구조라는 가정과, 수학식 3에 나타난 연산자(C')가 블럭 기반으로 분류된 엣지의 방향 정보에 따라 결정되는 블럭-적응적인 고역 통과 필터의 연산자라는 가정들이 필요하다. 이 블럭 기반의 블럭이란, 제30단계에서 설명된 각 부 영상을 의미한다.

도 3은 도 2에 도시된 제32단계의 본 발명에 의한 바람직한 일실시예의 플로우차트로서, DCT 계수들을 구하는 단계(제60단계) 및 DCT 계수들과 소정 임계값을 비교하여 엣지의 방향을 추정하는 단계(제62 ∼ 제78단계)로 이루어진다.

도 4a∼4e은 분류된 엣지 방향의 형태를 나타내는 도면들로서, 도 4a는 엣지의 방향이 단조로운(monotone)로운 것을 나타내고, 도 4b는 수평 방향의 엣지를 나타내고, 도 4c는 수직 방향의 엣지를 나타내고, 도 4d는 45°기울어진 방향의 엣지를 나타내고, 도 4e는 135°기울어진 방향의 엣지를 나타낸다.

먼저, 분할된 부 영상들 각각에 대한 DCT블럭에서 수직 방향의 엣지 및 수평 방향의 엣지를 나타내는 두개의 DCT 계수들(Cv 및 Ch)을 구한다(제60단계). 여기서, DCT 계수들을 구하는 일반식은 다음 수학식 9와 같다.

단,

여기서, DCT계수{C(k₁, k₂)}는 해당 DCT 블럭{x(n₁, n₂)}(0≤n₁≤P-1 및 0≤n₂≤P-1)에 대해 존재하는 P×P개의 서로 다른 기저 함수들중에서 (k₁, k₂)번째의 기저 함수가 포함되어 있는 정도를 나타내는 값이다. 만일, P=8인 경우 64개의 DCT 계수들이 생성되며, 64개의 기저 함수들중에서 (0,1)과 (1,0)번째의 기저 함수 성분을 나타내는 Cv와 Ch는 다음 수학식 10과 같이 표현된다.

제60단계후에, Cv 및 Ch의 절대값들(｜Cv｜, ｜Ch｜)이 각각 소정 임계값(Th)보다 적은가를 판단한다(제62단계). 만일, ｜Cv｜ 및 ｜Ch｜가 각각 Th보다 적으면, 엣지의 방향은 도 4a에 도시된 바와 같이 단조로운 것으로 추정한다(제64단계). 그러나, ｜Cv｜ 및 ｜Ch｜들이 각각 Th보다 적지 않으면, ｜Ch｜에서 ｜Cv｜를 감산한 값이 Th보다 큰가를 판단한다(제66단계). 만일, ｜Ch｜에서 ｜Cv｜를 감산한 값이 Th보다 크면, 엣지의 방향을 도 4b에 도시된 수평 방향으로 추정한다(제68단계). 그러나, ｜Ch｜에서 ｜Cv｜를 감산한 값이 Th보다 크지 않으면, ｜Cv｜에서 ｜Ch｜를 감산한 값이 Th보다 큰가를 판단한다(제70단계). ｜Cv｜에서 ｜Ch｜를 감산한 값이 Th보다 크면, 엣지의 방향을 도 4c에 도시된 수직 방향으로 추정한다(제72단계). 그러나, ｜Cv｜에서 ｜Ch｜ 감산한 값이 Th보다 크지 않으면, Ch와 Cv를 승산한 값이 양수인가를 판단한다(제74단계). 만일, Ch와 Cv를 승산한 값이 양수이면, 엣지의 방향을 도 4d에 도시된 바와 같이 45°기울어진 것으로 추정한다(제76단계). 그러나, Cv와 Ch를 승산한 값이 양수가 아니면, 엣지의 방향을 도 4e에 도시된 바와 같이 135°기울어진 것으로 추정한다(제78단계). 전술한 제60∼제78단계는 부 영상들 각각에 대해 수행되어, 즉, 블럭 기반으로 수행되어 모든 부 영상들 각각에 대한 엣지의 방향이 추정된다.

도 5a 및 5b들은 반지름(R) 3을 갖는 점 확산 함수 및 계단 함수 응답을 설명하기 위한 도면으로서, 도 5a는 2차원 원형의 점 확산 함수를 나타내고, 도 5b는 해당하는 1차원 계단 함수 응답을 나타낸다. 도 5b의 종축은 휘도의 레벨을 나타내고, 횡축은 변위를 나타낸다.

한편, 제32단계후에 부 영상들 각각에 대해서, 추정된 엣지의 방향과 직각 방향으로 존재하는 계단함수 응답[S_A(n)][여기서, A=1, 2, ... 또는

]을 구한다(제34단계). 제34단계후에, 소정수개의 계단 함수 응답들을 다음 수학식 11과 같이 평균하여, 평균 계단 함수 응답[S(n)]을 구한다(제36단계).

여기서, E는 추출된 엣지 방향들의 집합을 나타내고, M은 엣지 방향이 측정된 부 영상들의 갯수인

이하의 값을 나타낸다. 이는, 어느 부영상의 엣지 방향이 추출되지 않을 수도 있으므로, 엣지의 방향이 추출된 M개의 부 영상들에 대한 계단 함수 응답들만을 평균하기 위해서이다.

여기서, 평균 계단 함수 응답은 도 5b에 도시된 횡축으로 2R+1 만큼의 동안 나타나게 된다.

제36단계후에, 1차원의 평균 계단 함수 응답을 이용하여 도 5a에 도시된 바와 같이 2차원 원형의 대칭적인 점 확산 함수의 계수들(a₀, a₁, ... 및 a_R-1)을 다음 수학식 12과 같이 구한다. 여기서, 원형의 대칭적인 점 확산 함수의 계수들은 원의 가운데로부터 바깥쪽으로 a₀, a₁, ... 및 a_R-1가 된다.

여기서, Z는 평균 계단 함수 응답의 최대값에서 최소값을 감산한 값이다.

제38단계후에, 공간 영역에서 영상 열화 전달함수(h) 즉, 점 확산 함수는 점 확산 함수의 계수들을 이용하여 다음 수학식 13과 같이 구해진다(제40 단계).

여기서, 도 5a에 도시된 바와 같이 a₂₃은 a₃보다는 a₂에 가까운 값을 나타내고, a₂₃₃은 a₂보다는 a₃에 가까운 값을 나타내고, h의 크기는 B×B이고, a₁₂= α₁·a₁+ (1 - α₁) ·a₂이고, a₂₃= α₂·a₂+ (1 - α₂) ·a₃이다. 즉, a_mn= α_m·a_m+ (1 - α_m) ·a_n(1≤m≤R-1, n=m+1)이다. 이 때, α₁, α₂, ..., α_m-1및 α_1m들 각각은 가중치로서, 0보다 크고 1보다 적다. 예를 들면, α₁은 도 5a에 도시된 r₁에 반비례한다. 한편, Σ는 점 확산 함수 계수들의 총합을 나타낸다.

제40단계후에, 추정된 점 확산 함수인 전달함수(h)를 2차원 이산 푸리에 변환(DFT:Discrete Fourier Transform)하여 영상 열화 전달함수(H)를 구하고, 영상 열화 전달함수(H)를 수학식 3에 대입하여 영상 복원 전달함수(G)를 구한다(제42단계). 제42단계후에, 주파수 영역상의 영상 복원 전달함수(G)를 초점이 맞지 않는 주파수 영역상의 영상 신호(Y)에 승산하여, 복원된 초점을 갖는 주파수 영역상의 영상 신호(

)를 구한다(제44단계). 이 때,

를 역 이산 푸리에 변환(IDFT:Inverse Discrete Fourier Transform)하여 복원된 영상 신호(

)를 구한다. 또한, 전달함수(G)를 역 이산 푸리에 변환한 공간 영역상의 영상 복원 필터(22)의 임펄스 응답(g)을 초점이 맞지 않은 공간 영역상의 영상 신호(y)와 콘볼루션하여 복원된 영상 신호(

)를 구할 수도 있다.

이하, 전술한 디지탈 초점 조절 방법을 수행하는 본 발명에 의한 영상 처리 시스템의 디지탈 초점 조절 장치의 구성 및 동작을 첨부한 도면을 참조하여 다음과 같이 설명한다.

도 6은 본 발명에 의한 디지탈 초점 조절 장치의 바람직한 일실시예의 블럭도로서, 영상 분할부(102), 엣지 추정부(104), 계단함수 응답 계산부(106), 평균값 계산부(108), 계수 연산부(110) 및 제1 이산 푸리에 변환부(112)로 구성되는 전달함수 계산부(100), 제1 및 제2 절대값 산출부들(120 및 124), 제1 및 제2 제곱부들(122 및 126), 복소 공액 계산부(128), 제산부(130), 제1 및 제2 승산기들(132 및 136), 가산기(134), 제2 이산 푸리에 변환부(114) 및 역 이산 푸리에 변환부(132)로 구성된다.

도 6에 도시된 디지탈 초점 조절 장치는 도 1에 도시된 디지탈 초점 조절 장치(22)에 해당한다. 전달함수 계산부(100)는 수학식 12의 점 확산 함수의 계수들(a₀, a₁, ... a_R-2및 a_R-1)을 이용하여 주파수 영역에서 표현되는 영상 열화 전달함수(H)를 계산한다. 이를 위해, 영상 분할부(102)는 입력단자 IN1을 통해 입력되는 초점이 맞지 않는 영상 신호(y)를 P×P 크기의 부 영상들로 분할하고, 분할된 영상을 엣지 추정부(104)로 출력한다. 엣지 추정부(104)는 제32단계에서 전술한 방법으로 각 부 영상의 엣지의 방향을 추정하고, 추정된 엣지의 방향들을 계단 함수 응답 계산부(106)로 출력한다. 계단 함수 응답 계산부(106)는 엣지 추정부(104)로부터 입력한 추정된 M개의 엣지의 방향들 각각에 대한 계단 함수 응답을 계산하고, 계산된 계단 함수 응답들을 평균값 계산부(108)로 출력한다.

평균값 계산부(108)는 수학식 11에서와 같이 계단 함수 응답들의 평균을 계산하고, 계산된 평균 계단 함수 응답을 계수 연산부(110)로 출력한다. 계수 연산부(110)는 평균 계단 함수 응답을 입력하여 수학식 12의 점 확산 함수 계수들을 계산하고, 계산된 계수들로부터 구한 수학식 13에 표현된 공간 영역상의 영상 열화 전달함수(h)를 제1 이산 푸리에 변환부(112)로 출력한다. 제1 이산 푸리에 변환부(112)는 공간 영역상의 영상 열화 전달함수(h)를 2차원 이산 푸리에 변환하여 주파수 영역의 영상 열화 전달함수(H)를 구하고, 영상 열화 전달함수(H)를 제1 절대값 산출부(120) 및 복소 공액 계산부(128)로 출력한다.

제1 절대값 산출부(120)는 입력한 영상 열화 전달함수(H)의 절대값을 산출하고, 산출된 영상 열화 전달함수의 절대값(｜H｜)을 제1 제곱부(122)로 출력한다. 제1 제곱부(122)는 ｜H｜을 입력하여 제곱하고, 제곱한 결과를 가산기(134)로 출력한다. 복소 공액 계산부(128)는 전달함수 계산부(100)로부터 입력한 영상 열화 전달함수(H)의 복소 공액(H^*)을 계산하고, 계산된 복소 공액(H^*)을 제산부(130)로 출력한다.

한편, 제2 절대값 산출부(124)는 입력단자 IN2를 통해 입력한 수학식 3의 설명에서 언급한 소정 선형 고역 통과 필터 연산자(C')의 절대값(｜C'｜)을 산출하여 제2 제곱부(126)로 출력한다. 제2 제곱부(126)는 ｜C'｜를 제곱하고, 제곱한 결과를 제1 승산기(132)로 출력한다. 제1 승산기(132)는 제2 제곱부(126)에서 제곱된 결과와 라그랑제 곱셈자(λ)를 승산하고, 승산된 결과를 가산기(134)로 출력한다. 가산기(134)는 제1 제곱부(122)에서 제곱한 결과와 제1 승산기(132)에서 승산된 결과를 가산하고, 가산된 결과를 제산부(130)로 출력한다. 제산부(130)는 복소 공액 계산부(128)로부터 입력한 H의 공액(H^*)을 가산기(134)에서 가산된 결과로 제산하고, 제산된 결과를 제2 승산기(136)로 출력한다.

이 때, 제2 이산 푸리에 변환부(114)는 입력단자 IN1을 통해 입력한 초점이 맞지 않는 공간 영역상의 영상 신호(y)를 2차원 이산 푸리에 변환하여, 주파수 영역상의 영상 신호(Y)를 구한다. 제2 승산기(136)는 제산부(130)에서 제산된 결과인 수학식 3의 영상 복원 전달함수(G)와 제2 이산 푸리에 변환부(114)로부터 출력되는 주파수 영역상의 초점이 맞지 않는 영상 신호(Y)를 승산하고, 승산된 결과를 역 이산 푸리에 변환부(132)로 출력한다. 역 이산 푸리에 변환부(132)는 승산기(136)에서 승산된 결과를 2차원 역 이산 푸리에 변환하고, 변환된 신호를 초점이 복원된 영상 신호(

)로서 출력단자 OUT를 통해 출력한다.

결국, 전술한 본 발명에 의한 디지탈 초점 조절 방법 및 장치에서는 열화된 입력 영상의 엣지 성분을 찾은 다음, 계단함수 응답을 분석하여 영상 열화 시스템(10)을 추정하는 새로운 방법을 제시하였다. 이를 위해, 영상의 엣지 부분을 먼저 검출해서 계단 함수 응답이 얼마만큼의 경사를 가지고 분포하였는가를 관찰하여 점 확산 함수(h)의 크기와 모양을 추정하고, 추정된 점 확산 함수를 영상 복원 전달함수에 적용하여 영상을 복원하고, 이 복원된 영상을 초점이 맞은 영상으로 간주하였다.

전술한 본 발명에 의한 디지탈 초점 조정 방법 및 장치는 컴퓨터 비젼(computer vision), 현미경, 비디오 카메라 또는 캠코더(camcoder)등과 같은 영상 처리 시스템에 적용될 수 있다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상 처리 시스템의 디지탈 초점 조절 방법 및 장치는 적외선 장치나 렌즈 구동 모터를 사용하여 기계적으로 영상의 초점을 조절하는 종래의 방법과 달리, 디지탈적으로만 영상의 초점을 조절한다. 그러므로, 실시간으로 초점을 맞출 수 있고, 영상 처리 시스템의 부피와 무게를 줄일 수 있는 효과가 있다.

Claims

(a) 초점이 맞지 않는 영상을 소정 크기의 부 영상들로 분할하는 단계;

(b) 분할된 상기 부 영상들 각각의 엣지의 방향을 추정하는 단계;

(c) 상기 각 엣지의 방향에 대한 계단 함수 응답을 구하는 단계;

(d) 소정수개의 상기 계단 함수 응답들을 평균하여 평균 계단 함수 응답[S(X)](1≤X≤R)을 구하는 단계;

(e) 상기 평균 계단 함수 응답을 이용하여 점 확산 함수의 계수들(a₀, a₁, ... a_R-2및 a_R-1)(여기서, R은 상기 점 확산 함수의 반지름이다.)을 아래와 같이 구하는 단계;

(여기서, Z는 상기 평균 계단 함수 응답의 최대값에서 최소값을 감산한 값을 나타낸다.)

(f) 상기 점 확산 함수의 계수들을 이용하여 영상 열화 전달함수를 구하는 단계;

(g) 상기 영상 열화 전달함수를 이용하여 영상 복원 전달함수를 구하는 단계; 및

(h) 상기 영상 복원 전달함수와 상기 초점이 맞지 않는 상기 영상을 주파수 영역상에서 승산하여 초점이 맞는 원래의 영상을 구하는 단계를 구비하는 것을 특징으로 하는 영상 처리 시스템의 디지탈 초점 조절 방법.
제1 항에 있어서, 상기 (b) 단계는 상기 부 영상들 각각에 대해,

(b1) 수직 및 수평 방향의 엣지들을 각각 나타내는 두개의 이산 코사인 변환 계수들(Cv, Ch)을 구하는 단계;

(b2) 상기 Cv 및 상기 Ch의 절대값들이 각각 소정 임계값(Th)보다 적은가를 판단하는 단계;

(b3) 상기 Cv 및 상기 Ch의 절대값들이 각각 상기 Th보다 적으면, 상기 엣지의 방향이 단조로운 것으로 추정하는 단계;

(b4) 상기 Cv 및 상기 Ch의 절대값들이 각각 상기 Th보다 적지 않으면, 상기 Ch의 절대값에서 상기 Cv의 절대값을 감산한 값이 상기 Th보다 큰가를 판단하는 단계;

(b5) 상기 감산한 값이 상기 Th보다 크면, 상기 엣지의 방향을 수평 방향으로 추정하는 단계;

(b6) 상기 감산한 값이 상기 Th보다 크지 않으면, 상기 Cv의 절대값에서 상기 Ch의 절대값을 감산한 값이 상기 Th보다 큰가를 판단하는 단계;

(b7) 상기 b6단계에서 감산한 값이 상기 Th보다 크면, 상기 엣지의 방향을 수직 방향으로 추정하는 단계;

(b8) 상기 b6단계에서 감산한 값이 상기 Th보다 크지 않으면, 상기 Ch와 상기 Cv를 승산한 값이 양수인가를 판단하는 단계;

(b9) 상기 승산한 값이 양수이면, 상기 엣지의 방향을 45°기울어진 것으로추정하는 단계; 및

(b10) 상기 승산한 값이 양수가 아니면, 상기 엣지의 방향을 135°기울어진 것으로 추정하는 단계를 구비하는 것을 특징으로 하는 영상 처리 시스템의 디지탈 초점 조절 방법.
점 확산 함수의 계수들(a₀, a₁, ... a_R-2및 a_R-1)(여기서, R은 상기 점 확산 함수의 반지름)을 아래와 같이 계산하고, 계산된 상기 계수들을 이용하여 주파수 영역에서 표현되는 영상 열화 전달함수를 계산하는 전달함수 계산 수단;

(여기서, S(X)[1≤X≤R]는 평균 계단 함수 응답을 나타내고, Z는 상기 평균 계단 함수 응답의 최대값에서 최소값을 감산한 값을 나타낸다.)

입력한 상기 영상 열화 전달함수의 절대값을 산출하는 제1 절대값 산출수단;

상기 절대값을 입력하여 제곱하는 제1 제곱수단;

입력한 상기 영상 열화 전달함수의 복소 공액을 계산하는 복소 공액 계산 수단;

입력한 소정 연산자의 절대값을 산출하는 제2 절대값 산출 수단;

상기 소정 연산자의 절대값을 제곱하는 제2 제곱수단;

상기 제2 제곱 수단의 출력에 라그랑제(Lagrange) 곱셈자를 승산하는 제1 승산 수단;

상기 제1 승산 수단의 출력과 상기 제1 제곱 수단의 출력을 가산하는 가산 수단;

상기 가산수단의 출력을 상기 복소 공액으로 제산하고, 제산된 결과를 영상 복원 전달함수로서 출력하는 제산 수단; 및

상기 영상 복원 전달함수와 주파수 영역에서 표현되는 상기 초점이 맞지 않은 영상을 승산하고, 승산된 결과를 초점이 맞는 영상으로서 출력하는 제2 승산수단을 구비하는 것을 특징으로 하는 영상 처리 시스템의 디지탈 초점 조절 장치.
제3 항에 있어서, 상기 전달함수 계산 수단은

상기 초점이 맞지 않는 영상을 입력하여 소정 크기의 부 영상들로 분할하는 영상 분할 수단;

분할된 상기 부 영상들 각각의 엣지의 방향을 추정하는 엣지 추정 수단;

추정된 상기 방향들 각각에 대한 계단 함수 응답을 계산하는 계단 함수 응답 계산 수단;

계산된 소정수의 상기 계단 함수 응답들을 평균하여 상기 평균 계단 함수 응답을 계산하는 평균값 계산 수단;

상기 평균 계단 함수 응답을 이용하여 상기 계수들을 연산하고, 연산된 상기 계수들로부터 공간 영역에서 표현되는 상기 영상 열화 전달함수를 생성하는 계수 연산 수단; 및

상기 공간 영역에서 표현되는 상기 영상 열화 전달함수를 상기 주파수 영역에서 표현되는 영상 열화 전달함수로 변환하여 출력하는 이산 푸리에 변환 수단을 구비하는 것을 특징으로 하는 영상 처리 시스템의 디지탈 초점 조절 장치.