KR100935495B1 - 영상의 반복적인 복원과 융합을 기반으로 한자동초점복원장치 및 방법 - Google Patents

Abstract

영상의 반복적인 복원 및 융합을 기반으로 한 자동초점복원장치 및 방법이 개시된다. 제1복원부는 외부로부터 입력받은 원본영상의 복원을 위한 제1최적화 함수를 결정하고, 이를 원본영상에 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후, 원본영상을 구성하는 각각의 화소의 화소값에서 그라디언트 값에 소정의 비례계수를 곱한 값을 감하여 제1영상을 생성한다. 제2복원부는 제1영상을 입력받아 제1영상의 복원을 위한 제2최적화 함수를 결정하고, 제1복원부와 같은 방법으로 제2영상을 생성한다. 영상융합부는 원본영상 및 제1영상을 구성하는 각 화소의 초점값을 산출하고 원본영상 및 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 융합영역들을 결합하여 융합영상을 생성한다. 종결결정부는 제2영상과 융합영상의 유클리드 차분값을 산출하고, 차분값을 기초로 융합영상의 출력 여부를 결정한다. 본 발명에 따르면, 에지의 방향에 대응하는 고역통과필터링을 수행함으로써 에지를 보존하고 원본영상의 초점을 명확하게 복원할 수 있으며, 영상에 복수의 초점이 존재하는 경우에도 재열화나 울림 현상 없이 모든 초점을 복원할 수 있다.

자동초점복원, 반복적 복원, 영상융합

Description

영상의 반복적인 복원과 융합을 기반으로 한 자동초점복원장치 및 방법{Apparatus and method for digital auto-focusing based on iterative restoration and fusion of image}

본 발명은 자동초점복원장치 및 방법에 관한 것으로, 보다 상세하게는, 열화된 부분이 존재하는 영상의 초점을 복원하는 장치 및 방법에 관한 것이다.

디지털 영상 기술의 발전과 함께 영상 기기의 해상도와 정밀도가 증가하면서 촬영시 피사체나 영상 기기의 미세한 움직임 또는 영상 시스템의 물리적 한계로 인하여, 촬영된 영상에 원치않는 아웃 포커싱 현상, 블록 현상, 계단 현상 등과 같은 영상의 품질을 저하시키는 열화 현상이 발생하는 경우가 있다. 대부분의 영상 기기는 대표적인 영상 열화 현상 중 하나인 아웃 포커스 블러(out-of-focus blur)를 제거하기 위하여 디지털 자동초점복원 시스템을 적용하고 있다.

디지털 자동초점복원 시스템의 주된 알고리즘인 영상복원기술에는 비선형 보간 벡터 양자화(nonlinear interpolative vector quantization : NLIVQ), 자기회귀 이동평균(autoregressive moving average : ARMA) 기반의 기술 등이 있다. 이러한 기술들은 영상에 초점이 빗나간 복수의 영역이 존재하는 경우에도 이를 고려하지 않고 획일적으로 영상을 복원하며, 깊이맵(depth map)에 기초한 추가적인 영상 분할에 의하여 계산의 복잡성을 유발한다. 그리고 점 확산 함수(point-spread function : PSF) 또는 블러 매개변수(blur parameter)에 대한 부정확한 추정으로 이미 초점이 맞춰져 있던 영역에 울림(ringing)이나 노이즈 클러스터링(noise clustering)과 같은 부적절한 현상이 발생할 수 있다는 단점을 가진다. 또한 현재 제안된 자동초점 기술은 영상형성 시스템의 점 확산 함수가 등방성(isotropic)이거나 모든 방향에서 대칭이라는 것을 전제로 구현된다. 이러한 기술은 하드웨어 및 연산 오버헤드(computational overhead)를 효과적으로 감소시키는 장점은 있으나, 점 확산 함수 추정을 위한 근사화로 인해 영상에서 재열화(reblurring) 현상 등과 같은 단점을 가지고 있다.

한편 영상복원의 대안으로 제안된 영상융합기술은 공간 영역 또는 스펙트럼 영역에서 아웃 포커스된 영상의 품질을 향상시키는 데 사용되어 왔다. 기존의 영상융합기술은 웨이블렛 변환(wavelet transformation) 또는 이산 코사인 변환(discrete cosine transformation)에 기초하여 다초점 영상을 처리하거나 피라미드 기반 표현법(pyramid-based representation)을 이용하여 원본 영상을 서로 다른 공간적 스케일과 방향으로 분해한다. 그리고 분해된 서브밴드들 중에서 최대의 에너지를 가지는 서브밴드들을 선택하고 융합한 후 이를 재구성함으로써 출력을 생성한다. 그러나 이러한 기술들은 웨이블렛 변환의 민감성 때문에 복원된 영상의 품질 향상에 한계를 지닌다. 그리고 센서 평면이 프레임 사이에서 이동되어 발생하는 확대(magnification) 현상이나 프레임 간의 카메라 이동에 의한 오정 합(misregistration)으로 인하여 융합된 영상에서 오정렬(misalignment)이 발생한다. 이러한 오정렬 현상은 두 개 이상의 영상을 융합하여 초점이 복원된 영상을 생성하는 현재의 영상융합기술에 있어서 피할 수 없는 현상이다.

본 발명이 이루고자 하는 기술적 과제는, 한 개의 원본영상에 대한 반복적인 복원 및 영상 융합에 의하여 복원된 영상을 생성하기 위한 계산 과정을 간단히 하고, 복수의 초점이 존재하는 영상을 재열화(reblurring)나 울림(ringing)현상없이 효과적으로 복원할 수 있는 자동초점복원장치 및 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 한 개의 원본영상에 대한 반복적인 복원 및 영상 융합에 의하여 복원된 영상을 생성하기 위한 계산 과정을 간단히 하고, 복수의 초점이 존재하는 영상을 재열화(reblurring)나 울림(ringing)현상없이 효과적으로 복원할 수 있는 자동초점복원방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 자동초점복원장치는, 외부로부터 입력받은 원본영상의 복원을 위한 제1최적화 함수를 결정하고, 상기 원본영상에 상기 제1최적화 함수를 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 원본영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성하는 제1복원부; 상기 제1영상을 입력받아 상기 제1영상의 복원을 위한 제2최적화 함수를 결정하고, 상기 제1영상에 상기 제2최적화 함수를 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 제1영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성하는 제2복원부; 상기 제2영상을 입력받아 저장하는 프레임 메모리; 상기 원본영상 및 상기 제1영상을 구성하는 각 화소의 초점값을 산출하고 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 상기 융합영역들을 결합하여 융합영상을 생성하는 영상융합부; 및 상기 프레임 메모리로부터 독출한 상기 제2영상과 상기 융합영상의 유클리드 차분값을 산출하고, 상기 차분값을 기초로 상기 융합영상의 출력 여부를 결정하는 종결결정부;를 구비한다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 자동초점복원방법은, 외부로부터 입력받은 원본영상의 복원을 위한 제1최적화 함수를 결정하고, 상기 원본영상에 상기 제1최적화 함수를 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 원본영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성하는 제1복원단계; 상기 제1영상을 입력받아 상기 제1영상의 복원을 위한 제2최적화 함수를 결정하고, 상기 제1영상에 상기 제2최적화 함수를 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 제1영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성하고 상기 제2영상을 프레임 메모리에 저장하는 제2복원단계; 상기 원본영상 및 상기 제1 영상을 구성하는 각 화소의 초점값을 산출하고 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 상기 융합영역들을 결합하여 융합영상을 생성하는 영상융합단계; 및 상기 프레임 메모리로부터 독출한 상기 제2영상과 상기 융합영상의 유클리드 차분값을 산출하고, 상기 차분값을 기초로 상기 융합영상의 출력 여부를 결정하는 종결결정단계;를 갖는다.

본 발명에 따른 자동초점복원장치 및 방법에 의하면, 반복된 복원 과정에 의한 단계적인 영상 복원을 수행함으로써 계산 과정을 간단하게 만들 수 있다. 그리고 복원 과정에서 얻어진 복수의 영상을 융합함으로써 영상에 복수의 초점이 존재하는 경우에도 재열화나 울림 현상 없이 모든 초점을 복원할 수 있다. 또한 한 개의 원본 영상만으로 복원된 영상을 생성하므로 융합된 영상에서 프레임 간의 오정렬(misalighnment) 현상을 방지할 수 있다. 나아가, 원본영상의 복원시 점 확산 함수의 추정이 필요하지 않으므로 복원된 영상에서 울림이나 노이즈 클러스터링과 같은 부적절한 현상이 발생하지 않으며, 에지의 방향에 대응하는 고역통과필터링을 수행함으로써, 영상의 에지를 보존하면서 초점을 복원할 수 있다

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 자동초점복원장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다. 우선 각 도면의 구성요소들에 참조번호를 부여함에 있어서, 동일한 구성요소들에 있어서는 비록 다른 도면상에 표 시되더라도 동일한 번호를 가지도록 한다.

도 1은 본 발명에 따른 자동초점복원장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.

도 1을 참조하면, 본 발명에 따른 자동초점복원장치는 제1복원부(110), 제2복원부(120), 프레임 메모리(130), 영상융합부(140) 및 종결결정부(150)를 구비한다.

제1복원부(110)는 외부로부터 입력받은 원본영상의 복원을 위한 제1최적화 함수를 결정하고, 원본영상에 제1최적화 함수를 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 원본영상을 구성하는 각각의 화소의 화소값에서 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성한다.

초점이 맞추어져 있던 영상이 열화되는 과정은 다음의 수학식으로 나타낼 수 있다.

여기서, y는 열화된 영상을 구성하는 각 화소의 화소값으로 이루어진 매트릭스, H는 열화 시스템을 나타내는 매트릭스, 그리고 x는 초점이 맞추어져 있던 영상을 구성하는 각 화소의 화소값으로 이루어진 매트릭스이다.

H가 비특이적이며 우량조건(well-posed)인 경우에 열화된 영상으로부터 초점이 복원된 영상을 생성하는 과정은 H의 역연산자를 산출함으로써 수행된다. 그러나 대부분의 영상은 매트릭스로 표현하는 경우에 그 차원이 매우 커지게 되므로 역연산자를 산출하기 위해 매우 복잡한 계산 과정이 필요하다. 따라서 반복적인 복원 과정에 의하여 단계적으로 초점을 복원함으로써 계산 과정을 간소화하고 복원된 영상을 효율적으로 생성할 수 있다. 이러한 복원과정은 영상의 복원을 위한 최적화 함수를 결정하고 이를 반복적으로 최소화하는 방식에 의해 수행되며, 최적화 함수가 최소화되어 수렴된 해가 복원된 영상으로 얻어진다.

제1복원부(110)는 입력받은 원본영상의 초점을 복원하기 위하여 다음의 수학식에 의해 제1최적화 함수를 결정한다.

여기서, f₁(x)는 제1최적화 함수, x₀는 원본영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, 그리고 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.

고역통과 필터는 복원 과정에서 증폭된 잡음에 의한 고주파 성분을 억제하고 에지를 명확하게 복원하기 위해 사용된다. 그러나 영상에 존재하는 에지는 특정한 방향성을 가질 수 있으므로 등방성의 고역통과 필터를 사용하는 경우에는 다양한 방향성을 가지는 에지를 효과적으로 복원하기 어렵다. 따라서 원본영상을 구성하는 화소들을 각각의 화소가 속하는 에지의 방향에 따라 등방성, 수직, 수평 및 사선 방향 중 어느 한 방향으로 각각 분류하고, 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링을 수행하는 것이 바람직하다. 방향성의 고역통과 필터를 사용함으로써 해당 화소가 속하는 에지의 방향은 명확하게 복원되고, 다른 방향의 고주파 성분들은 억제되는 효과를 얻을 수 있다.

원본영상에 제1최적화 함수를 적용하면 제1중간영상이 얻어지고, 다음의 수학식에 의해 제1중간영상을 구성하는 각 화소에 대한 화소값의 그라디언트가 산출된다. 각각의 그라디언트는 제1최적화 함수의 최대 증가 방향을 나타낸다.

여기서, ▽f₁(x)는 제1중간영상을 구성하는 각 화소에 대한 화소값의 그라디언트로 이루어진 매트릭스, x₀는 원본영상, H는 열화 시스템을 나타내는 매트릭스, H^T는 H의 전치 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, C^T는 C의 전치 매트릭스, 그리고 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.

원본영상으로부터 초점이 복원된 제1영상은 제1최적화 함수를 최소화시키는 해를 구함으로써 얻어지므로, 제1복원부(110)는 다음의 수학식에 의해 그라디언트 값에 비례계수를 곱한 값을 원본영상을 구성하는 각각의 화소의 화소값에서 감하여 제1최적화 함수를 최소화시킨다.

여기서, x₁은 제1영상, x₀는 원본영상, H는 열화 시스템을 나타내는 매트릭스, H^T는 H의 전치 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, C^T는 C의 전치 매트릭스, λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수, 그리고 β는 최적화 함수의 수렴속도를 조절하는 이완변수이다.

이완변수 β는 영상의 신호 대 잡음비(signal-to-noise ratio : SNR) 값에 따라서, 예를 들면 SNR 값이 10~30dB인 경우에는 0.1로, SNR 값이 40~60dB인 경우에는 0.05로 다르게 선택된다.

제1복원부(110)에서 제1영상이 생성되면 제2복원부(120)는 제1영상을 입력받아 제1영상의 복원을 위한 제2최적화 함수를 결정하고, 제1영상에 제2최적화 함수를 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 제1영상을 구성하는 각각의 화소의 화소값에서 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성한다.

상술한 바와 같은 이유로 제2복원부(120)는 다음의 수학식에 의해 제2최적화 함수를 결정한다.

여기서, f₂(x)는 제2최적화 함수, x₀는 원본영상, x₁은 제1영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, 그리고 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.

제1복원부(110)와 마찬가지로 제2복원부(120)에서도 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링이 수행됨으로써 해당 화소가 속하는 에지의 방향은 명확하게 복원되고 다른 방향의 고주파 성분들은 억제되는 효과를 얻을 수 있다.

제1영상에 제2최적화함수를 적용하여 얻어진 제2중간영상을 구성하는 각 화소의 화소값의 그라디언트는 다음의 수학식에 의해 산출된다.

여기서, ▽f₂(x)는 제2중간영상을 구성하는 각 화소에 대한 화소값의 그라디언트로 이루어진 매트릭스, x₀는 원본영상, x₁은 제1영상, H는 열화 시스템을 나타내는 매트릭스, H^T는 H의 전치 매트릭스, C는 평활도 제약조건으로서 고역통과 필터 의 필터 계수로 이루어진 매트릭스, C^T는 C의 전치 매트릭스, 그리고 λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.

제2복원부(120)는 제2영상을 얻기 위해 다음의 수학식에 의해 그라디언트 값에 비례계수를 곱한 값을 제1영상을 구성하는 각각의 화소의 화소값에서 감하여 제2최적화 함수를 최소화시킨다. 최소화된 제2최적화 함수의 해가 제1영상으로부터 초점이 복원된 제2영상으로 된다.

여기서, x₂는 제2영상, x₁은 제1영상, x₀는 원본영상, H는 열화 시스템을 나타내는 매트릭스, H^T는 H의 전치 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, C^T는 C의 전치 매트릭스, λ는 평활도 제약조건의 양을 조절하는 정칙화 매개변수, 그리고 β는 최적화 함수의 수렴속도를 조절하는 이완변수이다.

프레임 메모리(130)는 추후 사용에 대비하여 제2영상을 입력받아 저장하고, 영상융합부(140)는 원본영상 및 제1영상을 구성하는 각 화소의 초점값을 산출하고 원본영상 및 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 융합영역들을 결합하여 융합영상을 생성한다. 이를 위해 영상융합부(140)는 초점값 산출부(141) 및 화소결합부(142)를 구비한다.

초점값 산출부(141)는 원본영상 및 제1영상을 구성하는 각 화소에 대하여 주변 화소와의 화소값의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내에 위치하는 화소들의 돌출도 값을 합산하여 각각의 화소에 대한 초점값을 산출한다.

화소의 돌출도 값은 영상에서 초점이 잘 맞는 경우에 증가하며, 다음과 같은 절대 라플라시안 연산자를 사용하여 계산될 수 있다.

여기서, L_k는 라플라시안 값을 구하고자 하는 함수, x는 함수 L_k의 수평 방향 성분, 그리고 y는 함수 L_k의 수직 방향 성분을 나타낸다.

x와 y 방향의 2차 도함수는 반대의 부호를 가지고 서로를 상쇄하는 경우가 있으므로, 이를 막기 위해 절대 라플라시안 연산자를 사용한다. 돌출도 값은 돌출도 값을 구하고자 하는 화소와 해당 화소에 대하여 수평 및 수직 방향으로 위치하는 화소들과의 화소값(pixel intensity)의 차를 합산한 값으로 정의된다. 이러한 돌출도 값은 다음의 수학식에 의해 구해진다.

여기서, ML_k(i,j)는 영상에서 (i,j)의 좌표를 갖는 화소의 돌출도 값을 나타 내는 변형된 라플라시안 값이고, I(i,j)는 (i,j)의 좌표를 갖는 화소의 화소 강도를 나타낸다.

초점값 산출부(141)는 수학식 9를 이용하여 영상을 구성하는 모든 화소에 대한 돌출도 값을 계산한 후 이를 기초로 다음의 수학식에 의해 각 화소의 초점값을 산출한다. 이때 화소의 초점값은 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내에 위치하는 화소들의 돌출도 값을 합산하여 산출되며, 초점값이 지나치게 커져 발생할 수 있는 오차를 줄이기 위해 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산할 수 있다. 돌출도 값의 임계치는 실험적으로 결정되며, 40~60의 범위에서 선택하는 경우에 대부분 수용 가능한 결과를 제공한다. 한편 초점값 산출을 위한 윈도우의 크기는 높은 정확도를 얻기 위해 3×3(픽셀) 크기로 설정되는 것이 바람직하다.

여기서, f(i,j)는 영상에서 (i,j)의 좌표를 갖는 화소의 초점값, N은 초점값을 구하고자 하는 화소를 중심으로 하는 윈도우의 크기, ML_k(p,q)는 (p,q)의 좌표를 갖는 화소의 돌출도 값, 그리고 T₁은 사전에 설정된 돌출도 값의 임계치를 나타낸다.

화소결합부(142)는 산출한 초점값을 근거로 원본영상 및 제1영상에서 초점값 이 사전에 설정된 기준 초점값 이상인 화소들을 선택하여 융합영역을 결정하고, 융합영역을 구성하는 화소들을 결합하여 융합영상을 생성한다.

융합영역은 다음의 수학식에 의해 원본영상 및 제1영상을 구성하는 화소들 중에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들이 선택됨으로써 결정된다. 각 영상에서 초점이 맞추어진 부분만을 선택하여 다초점 영상을 효과적으로 복원할 수 있으며, 최적의 결과를 얻기 위해 기준 초점값은 40~60의 범위에서 선택될 수 있다.

여기서, S_k는 원본영상 또는 제1영상에서 결정되는 융합영역, C_k는 융합영역을 구성하는 화소의 선택 기준, 그리고 f_k및 f_{k -1}은 원본영상 또는 제1영상을 구성하는 각 화소의 초점값이다.

융합영역을 구성하는 화소들을 선택하는 과정에서 생기는 에러를 줄이기 위해 다음의 수학식에 의해 원본영상 및 제1영상에서 결정된 융합영역을 구성하는 화소들의 초점값에 소정의 가중치를 부여할 수 있다.

여기서, S_k는 원본영상 또는 제1영상에서 결정되는 융합영역, x_k 및 x_{k -1}은 원 본영상 또는 제1영상을 구성하는 각 화소, ω_k(Θ) 및 ω_k-1(Θ)은 화소의 초점값에 부여하는 가중치, 그리고 f_k 및 f_{k -1}은 원본영상 또는 제1영상을 구성하는 각 화소의 초점값이다.

화소의 초점값에 부여되는 가중치는 화소의 돌출도 값에 따라 결정되며, 화소의 화소값이 해당 화소에 대해 수평 및 수직 방향으로 위치하는 화소들의 화소값과 비교하여 큰 경우에는 해당 화소의 돌출도 값이 최대가 되므로 가중치 값이 1로 결정되고, 그 이외의 경우에는 가중치 값은 0으로 결정된다.

다음으로 화소결합부(142)는 다음의 수학식에 의해 원본영상 및 제1영상의 융합영역을 결합하여 융합영상을 생성한다.

여기서, x_ck는 융합영상, S_k는 융합영역, 그리고 x_ak와 x_bk는 융합을 위한 원본영상 및 제1영상이다.

수학식 13은 영상 x_ak와 x_bk를 융합하여 융합영상 x_ck를 생성하는 과정을 나타낸 식이다. 수학식 13에 따르면, x_ak의 융합영역과 x_bk에서 x_ak의 융합영역에 해당하는 영역을 제외한 영역을 결합하여 융합영상이 생성된다. 영상융합에 의해 나타날 수 있는 융합영역 사이의 부자연스러운 경계를 제거하기 위하여 각각의 융합영역에 평활화(smoothing) 또는 저역통과필터링(low pass filtering)을 적용하는 것이 바 람직하다.

융합영역의 결합 과정에서 누락된 화소가 발생하는 경우, 화소결합부(142)는 원본영상 및 제1영상에서 누락된 화소의 위치에 대응하는 위치의 화소의 화소값 중 어느 하나를 선택하여 누락된 화소의 위치에 삽입한다. 명확한 영상을 얻기 위해 원본영상 및 제1영상에서 누락된 화소의 위치에 대응하는 위치의 화소 중 더 높은 초점값을 가지는 화소가 선택된다.

종결결정부(150)는 제2영상을 프레임 메모리(130)로부터 독출하여 제2영상과 융합영상의 유클리드 차분값을 산출하고, 산출된 차분값을 기초로 융합영상의 출력 여부를 결정한다. 유클리드 차분값은 다음의 수학식에 의해 산출된다.

여기서, x_r은 제2영상, x_f는 융합영상, E()는 유클리드 공간의 근사화된 차분 연산자, (i,j)는 영상에서 화소가 위치하는 좌표, 그리고 D는 융합영상을 구성하는 화소의 수이다.

차분 연산자 E()는 제2영상과 융합영상에서 같은 위치에 대응하는 화소를 비교하여 결정되는 값으로, 두 화소의 초점값이 같으면 0의 값을 가지며 두 화소의 초점값이 상이하면 1의 값을 가진다. 수학식 14에 따르면, 제2영상과 융합영상을 구성하는 모든 화소들에 대해 차분 연산자를 적용한 값을 모두 더한 후 그 값을 융 합영상을 구성하는 화소의 수로 나누면 제2영상과 융합영상의 유클리드 차분값이 산출된다.

제2영상과 융합영상에서 초점값이 일치하는 화소의 수가 많을수록 유클리드 차분값이 감소하며, 차분값이 사전에 설정된 기준값 이하로 감소하면 원본영상의 전 영역에서 복원이 이루어진 것이므로 종결결정부(150)는 융합영상을 영상 복원의 결과로서 출력한다.

유클리드 차분값이 사전에 설정된 기준값을 초과하는 경우에는 원본영상의 복원이 제대로 이루어지지 않은 것이므로 종결결정부(150)는 융합영상을 원본영상으로 결정하여 영상융합부(140)에 입력시키고, 제2영상을 제1영상으로 결정하여 제2복원부(120) 및 영상융합부(140)에 입력시킨다. 따라서 제2복원부(120)에서 영상의 복원 과정이 한번 더 수행되고 복원된 영상은 영상융합부(140)에서 이전 단계의 융합영상과 결합되어 새로운 융합영상이 생성된다.

종결결정부(150)에서 융합영상을 출력하기 위해 필요한 기준값은 영상에 따라 다르게 결정되며, 이전 단계에서 산출하였던 유클리드 차분값과 비교하여 3~5배의 범위에서 급격하게 감소할 때의 값이 기준값으로 결정된다.

도 2는 본 발명에 따른 자동초점복원방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.

도 2를 참조하면, 제1복원부(110)는 외부로부터 입력받은 원본영상의 복원을 위한 제1최적화 함수를 결정하고, 원본영상에 제1최적화 함수를 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후, 원 본영상을 구성하는 각각의 화소의 화소값에서 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성한다(S210). 다음으로 제2복원부(120)는 제1영상을 입력받아 제1영상의 복원을 위한 제2최적화 함수를 결정하고, 제1영상에 제2최적화 함수를 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후, 제1영상을 구성하는 각각의 화소의 화소값에서 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성한다(S220).

제2복원부(120)에서 생성된 제2영상은 프레임 메모리(130)에 저장되고, 초점값 산출부(141)는 원본영상 및 제1영상을 구성하는 각 화소에 대하여 주변 화소와의 화소값의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내에 위치하는 화소들 중 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산하여 각각의 화소에 대한 초점값을 산출한다(S230). 다음으로 화소결합부(142)는 산출한 초점값을 근거로 원본영상 및 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들을 선택하여 융합영역을 결정하고, 융합영역을 구성하는 화소들을 결합하여 융합영상을 생성한다(S240). 다음으로 융합영역의 결합 과정에서 누락된 화소에 대하여 화소결합부(142)는 원본영상 및 제1영상에서 누락된 화소의 위치에 대응하는 위치의 화소의 화소값 중 어느 하나를 선택하여 누락된 화소의 위치에 삽입한다(S250).

종결결정부(150)는 제2영상을 프레임 메모리(130)로부터 독출하여 제2영상과 융합영상의 유클리드 차분값을 산출한다(S260). 다음으로 종결결정부(150)는 산출 한 유클리드 차분값과 기준값을 비교한다(S270). 만약 유클리드 차분값이 기준값보다 작거나 같으면, 종결결정부(150)는 융합영상을 결과로서 출력하고(S280), 유클리드 차분값이 기준값보다 크면, 종결결정부(150)는 융합영상을 원본영상으로 결정하고 제2영상을 제1영상으로 결정한다(S290).

도 3a 내지 도 3f에는 각각 열화된 원본영상, 2회, 4회, 5회, 7회의 반복적인 복원 과정에 의하여 생성된 영상 및 최종적으로 출력된 융합영상이 도시되어 있다. 원본영상은 복수의 피사체 중 가운데의 상자와 사람에 초점이 맞추어져 있다. 복원 횟수가 2회일 때에는 상자와 사람에 초점이 맞추어져 있으나, 복원의 횟수가 증가할 수록 카메라에 가까운 시계의 초점이 복원되고 원래 초점이 맞추어져 있었던 시계와 사람에는 영상이 분열되는 재열화 현상이 나타난다. 융합영상은 반복적인 복원으로 생성된 복수의 영상 중에서 원래 초점이 맞추어져 있던 상자와 사람 부분 및 반복적인 복원으로 초점이 복원된 시계 부분을 융합하여 생성된다. 이와 같이 원본영상에 복수의 초점이 존재하는 경우, 원본영상의 반복적인 복원에 의해 복수의 초점이 모두 명확하게 복원된 융합영상을 얻을 수 있다.

도 4는 다양한 SNR 값을 가지는 영상의 반복적인 복원에 따른 피크 신호 대 잡음비(peak signal-to-noise ratio : PSNR) 값을 그래프로 도시한 도면이다. 도 4를 참조하면, 반복적인 영상 복원에서 반복의 횟수가 8회 이하인 경우 영상이 열화된 정도가 클수록, 즉 SNR 값이 증가할수록 PSNR 값은 감소하는 형태를 보이며, 반복의 횟수가 10회 이상이 되면 SNR 값이 60dB인 경우를 제외하고 PSNR 값은 거의 동일하게 나타난다. 또한 모든 SNR 값에 대해 복원의 횟수가 증가할수록 PSNR 값이 증가하여 영상에서 열화된 부분의 초점이 더 잘 복원된다는 것을 보여준다.

도 5는 종래의 정칙화된 반복 복원(regularized iterative restoration : RIR) 방법 및 정칙화된 방향성 반복 복원(regularized directional iterative restoration : RDIR) 방법과 본 발명에 따른 자동초점복원의 결과로 생성된 영상의 PSNR 값을 그래프로 도시한 도면이다.

도 5를 참조하면, RIR과 RDIR에 의하여 복원된 영상의 경우는 영상 복원의 횟수가 8회 이상으로 증가하면 원래 초점이 맞춰져 있던 영역에서의 재열화 및 울림 현상에 의해 오히려 PSNR 값이 감소하는 형태를 보인다. 그러나 본 발명에 따른 자동초점복원의 결과로 생성된 영상의 경우는 종래 기술에 의하여 복원된 영상에 비해 높은 PSNR 값을 보이며, 복원의 횟수가 증가할수록 PSNR 값도 증가하는 형태를 보인다. 따라서 반복적인 복원 과정에 영상의 융합 과정이 결합됨으로써 최종적으로 복원된 영상에서 발생하는 재열화 및 울림 현상을 제거하고 모든 영역에서 초점이 복원된 영상을 얻을 수 있다.

도 6a 내지 도 6f에는 각각 열화된 원본영상, 종래의 CLS 필터를 사용하여 복원된 영상, 종래의 RIR 방법에 의하여 복원된 영상, 종래의 반복적인 복원 방법에 의하여 복원된 영상, 종래의 블러 매개변수를 사용하여 복원된 영상 및 본 발명에 따른 자동초점복원에 의하여 생성된 영상이 도시되어 있다. 열화된 원본영상은 제일 위쪽 부분에 열화된 영역을 포함한다. 종래의 CLS 필터를 사용하여 복원된 영상의 경우 원본영상에서 열화된 부분의 초점은 복원되었으나 원래 초점이 맞춰져 있던 영역에서 열화현상이 발생한다. 종래의 RIR 방법에 의하여 복원된 영상에는 원래 초점이 맞춰져 있던 영역뿐만 아니라 열화된 영역의 초점도 명확하게 복원되지 않아서 전체적으로 열화된 현상을 보인다. 그리고 종래의 반복적인 복원 방법에 의하여 복원된 영상의 경우는 원래 초점이 맞춰져 있던 영역에 재열화 현상이 나타나지는 않았으나 초점의 불명확한 복원으로 영상의 에지 부분이 보존되지 않았다. 또한 종래의 블러 매개변수를 사용하여 복원된 영상은 전체적으로 열화 현상이 거의 나타나지 않았으나 에지가 명확하지 않아 작은 글씨에서 영상이 흐려진 현상이 나타났다. 그러나 본 발명에 따른 자동초점복원에 의해 생성된 영상의 경우는 원래 초점이 맞춰져 있던 영역은 그대로 보존되고 열화된 부분의 초점만 명확하게 복원된 결과를 보인다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

도 1은 본 발명에 따른 자동초점복원장치에 대한 바람직한 실시예의 구성을 도시한 블록도,

도 2는 본 발명에 따른 자동초점복원방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,

도 3a 내지 도 3f는 각각 열화된 원본영상, 2회, 4회, 5회, 7회의 반복적인 복원 과정에 의하여 생성된 영상 및 최종적으로 출력된 융합영상을 도시한 도면,

도 4는 다양한 SNR 값을 가지는 영상의 반복적인 복원에 따른 피크 신호 대 잡음비(peak signal-to-noise ratio : PSNR) 값을 그래프로 도시한 도면,

도 5는 종래의 정칙화된 반복 복원(regularized iterative restoration : RIR) 방법 및 정칙화된 방향성 반복 복원(regularized directional iterative restoration : RDIR) 방법과 본 발명에 따른 자동초점복원의 결과로 생성된 영상의 PSNR 값을 그래프로 도시한 도면, 그리고,

도 6a 내지 도 6f는 각각 열화된 원본영상, 종래의 CLS 필터를 사용하여 복원된 영상, 종래의 RIR 방법에 의하여 복원된 영상, 종래의 반복적인 복원 방법에 의하여 복원된 영상, 종래의 블러 매개변수를 사용하여 복원된 영상 및 본 발명에 따른 자동초점복원에 의하여 생성된 영상을 도시한 도면이다.

Claims (19)

1. 외부로부터 입력받은 원본영상을 구성하는 각 화소의 화소값 및 상기 원본영상에 영상의 열화 정도를 나타내는 열화시스템을 적용하여 생성된 영상을 구성하는 각 화소의 화소값의 차를 최소화하는 상기 열화시스템을 구하기 위한 제1최적화 함수를 상기 원본영상에 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 원본영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성하는 제1복원부;

   상기 원본영상을 구성하는 각 화소의 화소값 및 상기 제1영상에 영상의 열화 정도를 나타내는 열화시스템을 적용하여 생성된 영상을 구성하는 각 화소의 화소값의 차를 최소화하는 상기 열화시스템을 구하기 위한 제2최적화함수를 상기 제1영상에 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 제1영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성하는 제2복원부;

   상기 제2영상을 입력받아 저장하는 프레임 메모리;

   상기 원본영상 및 상기 제1영상을 구성하는 각 화소의 초점값을 산출하고 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 상기 융합영역들을 결합하여 융합영상을 생성하는 영상융합부; 및

   상기 프레임 메모리로부터 독출한 상기 제2영상과 상기 융합영상의 유클리드 차분값을 산출하고, 상기 차분값을 기초로 상기 융합영상의 출력 여부를 결정하는 종결결정부;를 포함하는 것을 특징으로 하는 자동초점복원장치.
2. 제 1항에 있어서,

   상기 제1최적화 함수는 다음의 수학식 A로 결정되는 것을 특징으로 하는 자동초점복원장치:

   [수학식 A]

   

   여기서, f(x₀)는 상기 제1최적화 함수, x₀는 상기 원본영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서의 고역통과 필터, 그리고 λ는 상기 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.
3. 제 1항 또는 제 2항에 있어서,

   상기 제2최적화 함수는 다음의 수학식 B로 결정되는 것을 특징으로 하는 자동초점복원장치:

   [수학식 B]

   

   여기서, f(x)는 상기 제2최적화 함수, x₀는 상기 원본영상, x₁은 상기 제1영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서의 고역통과 필터, 그리고 λ는 상기 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.
4. 제 2항에 있어서,

   상기 제1복원부는 상기 원본영상을 구성하는 화소들을 각각의 화소가 속하는 에지의 방향에 따라 등방성, 수직, 수평 및 사선 방향 중 어느 한 방향으로 각각 분류하고, 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링을 수행하는 것을 특징으로 하는 자동초점복원장치.
5. 제 3항에 있어서,

   상기 제2복원부는 상기 제1영상을 구성하는 화소들을 각각의 화소가 속하는 에지의 방향에 따라 등방성, 수직, 수평 및 사선 방향 중 어느 한 방향으로 각각 분류하고, 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링을 수행하는 것을 특징으로 하는 자동초점복원장치.
6. 제 1항에 있어서,

   상기 영상융합부는,

   상기 원본영상 및 상기 제1영상을 구성하는 각 화소에 대하여 주변 화소와의 화소값의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내에 위치하는 화소들의 돌출도 값을 합산하여 각각의 화소에 대한 초점값을 산출하는 초점값 산출부; 및

   상기 산출한 초점값을 근거로 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들을 선택하여 융합영역을 결정하고, 상기 융합영역을 구성하는 화소들을 결합하여 융합영상을 생성하는 화소결합부;를 포함하는 것을 특징으로 하는 자동초점복원장치.
7. 제 6항에 있어서,

   상기 초점값 산출부는 상기 화소를 중심으로 하는 소정 크기의 윈도우 내의 화소들 중에서 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산하여 초점값을 산출하는 것을 특징으로 하는 자동초점복원장치.
8. 제 6항에 있어서,

   상기 화소결합부는 상기 융합영역들의 결합 과정에서 누락된 화소에 대해 상기 원본영상 및 상기 제1영상에서 누락된 화소의 위치에 대응하는 위치의 화소의 화소값 중 어느 하나를 선택하여 누락된 화소의 위치에 삽입하는 것을 특징으로 하는 자동초점복원장치.
9. 제 3항에 있어서,

   상기 종결결정부는 상기 유클리드 차분값을 다음의 수학식 C에 의해 산출하고, 상기 차분값이 사전에 설정된 기준값 이하이면 상기 융합영상을 출력하고, 상기 차분값이 사전에 설정된 기준값을 초과하면 상기 융합영상을 원본영상으로 결정하여 상기 영상융합부에 입력시키고 상기 제2영상을 제1영상으로 결정하여 상기 제 2복원부 및 영상융합부에 입력시키는 것을 특징으로 하는 자동초점복원장치:

   [수학식 C]

   

   여기서, x_r은 제2영상, x_f는 융합영상, E()는 유클리드 공간의 근사화된 차분 연산자, (i,j)는 영상에서 화소가 위치하는 좌표, 그리고 D는 융합영상을 구성하는 화소의 수이다.
10. 외부로부터 입력받은 원본영상을 구성하는 각 화소의 화소값 및 상기 원본영상에 영상의 열화 정도를 나타내는 열화시스템을 적용하여 생성된 영상을 구성하는 각 화소의 화소값의 차를 최소화하는 상기 열화시스템을 구하기 위한 제1최적화 함수를 상기 원본영상에 적용시켜 얻어진 제1중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 원본영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제1영상을 생성하는 제1복원단계;

    상기 원본영상을 구성하는 각 화소의 화소값 및 상기 제1영상에 영상의 열화 정도를 나타내는 열화시스템을 적용하여 생성된 영상을 구성하는 각 화소의 화소값의 차를 최소화하는 상기 열화시스템을 구하기 위한 제2최적화함수를 상기 제1영상에 적용시켜 얻어진 제2중간영상을 구성하는 각각의 화소에 대한 화소값의 그라디언트를 산출한 후 상기 제1영상을 구성하는 각각의 화소의 화소값에서 상기 그라디언트 값에 사전에 설정된 비례계수를 곱한 값을 감하여 제2영상을 생성하는 제2복원단계;

    상기 원본영상 및 상기 제1영상을 구성하는 각 화소의 초점값을 산출하고 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들로 이루어진 융합영역을 결정한 후 상기 융합영역들을 결합하여 융합영상을 생성하는 영상융합단계; 및

    상기 제2영상을 입력받아 저장하는 프레임 메모리로부터 독출한 상기 제2영상과 상기 융합영상의 유클리드 차분값을 산출하고, 상기 차분값을 기초로 상기 융합영상의 출력 여부를 결정하는 종결결정단계;를 포함하는 것을 특징으로 하는 자동초점복원방법.
11. 제 10항에 있어서,

    상기 제1최적화 함수는 다음의 수학식 A로 결정되는 것을 특징으로 하는 자동초점복원방법:

    [수학식 A]

    

    여기서, f(x₀)는 상기 제1최적화 함수, x₀는 상기 원본영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, 그리고 λ는 상기 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.
12. 제 10항 또는 제 11항에 있어서,

    상기 제2최적화 함수는 다음의 수학식 B로 결정되는 것을 특징으로 하는 자 동초점복원방법:

    [수학식 B]

    

    여기서, f(x)는 상기 제2최적화 함수, x₀는 상기 원본영상, x₁은 상기 제1영상, H는 열화 시스템을 나타내는 매트릭스, C는 평활도 제약조건으로서 고역통과 필터의 필터 계수로 이루어진 매트릭스, 그리고 λ는 상기 평활도 제약조건의 양을 조절하는 정칙화 매개변수이다.
13. 제 11항에 있어서,

    상기 제1복원단계에서, 상기 원본영상을 구성하는 화소들을 각각의 화소가 속하는 에지의 방향에 따라 등방성, 수직, 수평 및 사선 방향 중 어느 한 방향으로 각각 분류하고, 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링을 수행하는 것을 특징으로 하는 자동초점복원방법.
14. 제 12항에 있어서,

    상기 제2복원단계에서, 상기 제1영상을 구성하는 화소들을 각각의 화소가 속하는 에지의 방향에 따라 등방성, 수직, 수평 및 사선 방향 중 어느 한 방향으로 각각 분류하고, 각각의 화소에 에지의 방향에 대응하는 고역통과 필터링을 수행하는 것을 특징으로 하는 자동초점복원방법.
15. 제 10항에 있어서,

    상기 영상융합단계는,

    상기 원본영상 및 상기 제1영상을 구성하는 각 화소에 대하여 주변 화소와의 화소값의 차를 합산하여 돌출도 값을 구하고, 각각의 화소를 중심으로 하는 소정 크기의 윈도우 내에 위치하는 화소들의 돌출도 값을 합산하여 각각의 화소에 대한 초점값을 산출하는 초점값 산출단계; 및

    상기 산출한 초점값을 근거로 상기 원본영상 및 상기 제1영상에서 초점값이 사전에 설정된 기준 초점값 이상인 화소들을 선택하여 융합영역을 결정하고, 상기 융합영역을 구성하는 화소들을 결합하여 융합영상을 생성하는 화소결합단계;를 포함하는 것을 특징으로 하는 자동초점복원방법.
16. 제 15항에 있어서,

    상기 초점값 산출단계에서, 상기 화소를 중심으로 하는 소정 크기의 윈도우 내의 화소들 중에서 돌출도 값이 사전에 설정된 임계치 이상인 화소들의 돌출도 값을 합산하여 초점값을 산출하는 것을 특징으로 하는 자동초점복원방법.
17. 제 15항에 있어서,

    상기 화소결합단계에서, 상기 융합영역들의 결합 과정에서 누락된 화소에 대해 상기 원본영상 및 상기 제1영상에서 누락된 화소의 위치에 대응하는 위치의 화 소의 화소값 중 어느 하나를 선택하여 누락된 화소의 위치에 삽입하는 것을 특징으로 하는 자동초점복원방법.
18. 제 12항에 있어서,

    상기 종결결정단계에서, 다음의 수학식 C에 의해 산출한 유클리드 차분값이 사전에 설정된 기준값 이하이면 상기 융합영상을 출력하고, 상기 유클리드 차분값이 사전에 설정된 기준값을 초과하면 상기 융합영상과 상기 제2영상을 각각 원본영상과 제1영상으로 결정한 후 상기 제2복원단계와 상기 영상융합단계를 재수행하는 것을 특징으로 하는 자동초점복원방법:

    [수학식 C]

    

    여기서, x_r은 제2영상, x_f는 융합영상, E()는 유클리드 공간의 근사화된 차분 연산자, (i,j)는 영상에서 화소가 위치하는 좌표, 그리고 D는 융합영상을 구성하는 화소의 수이다.
19. 제 18항에 기재된 자동초점복원방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images