KR100594777B1

KR100594777B1 - Method for providing digital auto-focusing and system therefor

Info

Publication number: KR100594777B1
Application number: KR1020040000892A
Authority: KR
Inventors: 백준기; 황성현; 신정호
Original assignee: 학교법인 중앙대학교
Priority date: 2004-01-07
Filing date: 2004-01-07
Publication date: 2006-06-30
Also published as: KR20050072549A

Abstract

본 발명은 영상처리시스템에서 디지털 초점 조절 방법 및 시스템, 그 방법 및 시스템에 사용되는 영상복원전달함수를 구하는 방법 및 시스템에 관한 것으로 구체적으로 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장받는 단계; 입력영상을 입력받는 단계; 상기 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하는 단계; 상기 입력영상과 상기 영상복원전달함수를 승산한 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 단계; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 초점 조절 방법 및 그 시스템에 관한 것이다.The present invention relates to a method and a system for adjusting a digital focus in an image processing system, a method and a system for obtaining an image restoration transfer function used in the method and a system, and specifically to storing a plurality of image restoration transfer functions calculated through a predetermined process. Receiving step; Receiving an input image; Calculating a value obtained by multiplying the image restoration transfer function by the input image with respect to at least two of the image restoration transfer function; Detecting an image restoration transfer function to be used for an output image by using the result of multiplying the input image and the image restoration transfer function; And outputting an image obtained by multiplying the detected image restoration transfer function with the input image as an output image.

본 발명에 따르면 초점이 열화된 영상을 렌즈의 구동 없이 부화소 단위로 추정된 영상열화전달함수 및 그로부터 산출된 영상복원전달함수를 이용하여 빠른 시간 안에 보다 정밀하게 복원하는 것이 가능한 장점이 있다.According to the present invention, an image deterioration transfer function estimated in sub-pixel units and an image restoration transfer function calculated therefrom without defocusing an image can be restored more accurately in a short time.

디지털 초점 조절Digital focusing

Description

Method for providing digital auto-focusing and system therefor

도 1은 본 발명의 디지털 초점 조절 방법의 개념을 설명하기 위한 개략도1 is a schematic diagram illustrating the concept of a digital focusing method of the present invention;

도 2는 본 발명의 디지털 초점 조절 시스템을 도시한 블록선도2 is a block diagram illustrating a digital focusing system of the present invention.

도 3은 본 발명에 사용되는 영상복원전달함수를 산출하기 위한 시스템을 도시한 블록선도3 is a block diagram illustrating a system for calculating an image restoration transfer function used in the present invention.

도 4는 본 발명에서 디지철 초점을 조절하는 방법을 도시한 흐름도4 is a flowchart illustrating a method of adjusting a digital focus in the present invention.

도 5는 본 발명에서 영상복원전달함수를 산출하는 방법을 도시한 흐름도5 is a flowchart illustrating a method of calculating an image restoration transfer function in the present invention.

도 6은 본 발명에서 기준 피사체로 사용될 수 있는 일 실시예를 도시한 도면6 is a view showing an embodiment that can be used as a reference subject in the present invention

도 7은 본 발명에서 각 부영상들에 대하여 경계의 존재 유무 및 경계의 방향을 결정하는 방법을 도시한 흐름도7 is a flowchart illustrating a method of determining the presence or absence of a boundary and the direction of the boundary for each sub-image in the present invention.

도 8a~8e은 분류된 경계 방향의 형태를 나타내는 도면들8A to 8E are diagrams illustrating the shapes of the classified boundary directions.

도 9는 2차원 원형의 점 확산 함수를 도시한 도면9 shows a point spread function of a two-dimensional circle.

도 10은 해당하는 1차원 계단함수응답의 일 예를 도시한 도면10 shows an example of a corresponding one-dimensional step function response.

도 11은 본 발명의 효과를 나타내기 위한 도면11 is a view showing the effect of the present invention

본 발명은 영상처리시스템에서 디지털 초점 조절 방법 및 시스템에 관한 것으로, 디지털 방식으로 영상을 촬영하는 각종 장치에서 각 장치의 영상열화특성을 이용하여 열화된 영상의 초점을 복원하는 방법 및 시스템에 관한 것으로, 그 방법에 사용되는 영상복원전달함수를 구하는 방법 및 시스템을 포함한다.The present invention relates to a method and a system for adjusting the digital focus in an image processing system, and to a method and system for restoring the focus of a deteriorated image by using the image deterioration characteristic of each device in various apparatuses for photographing a digital image. And a method and system for obtaining an image restoration transfer function used in the method.

종래의 영상처리 시스템에 적용되고 있는 자동 초점 조절 방법에는 능동적 적외선 방식과 반 디지털 초점 조절 방식의 두 종류가 있다. 이와 같은 방식을 채용한 기존의 디지털 영상 시스템은 초점 정도를 추정하는 부분을 해석모듈과 초점거리에 맞게 렌즈를 움직이는 제어모듈을 구비하고 있다.There are two types of auto focusing methods applied to the conventional image processing system: active infrared method and anti-digital focusing method. The existing digital imaging system employing the above-described method includes an analysis module and a control module for moving a lens according to a focal length for estimating a focal point.

적외선 방식은 해석모듈에서 파장의 왕복거리를 이용하여 초점이 정확한지 파악하고, 해석모듈에서 판단한 결과를 이용하여 제어모듈에서 렌즈의 위치를 이동시킴으로써 초점을 조절하고 있다. 그러나, 이러한 적외선 방식은 해석모듈에서의 파장의 왕복거리를 알기 위하여 사용한 피사체가 실제로 촬영하고자 하는 피사체가 아닌 경우 문제가 될 수 있고, 또한 초점을 조절하기 위하여 모터를 구동하는데 걸리는 시간이 많이 소요된다는 단점이 있다.Infrared method uses the round trip distance of the wavelength in the analysis module to determine whether the focus is correct, and by using the result determined by the analysis module to adjust the focus by moving the position of the lens in the control module. However, this infrared method may be a problem when the subject used to know the round trip distance of the wavelength in the analysis module is not the subject to be photographed, and it takes a long time to drive the motor to adjust the focus. There are disadvantages.

한편, 반 디지털 방식은 해석모듈에서 고주파성분을 계산함으로써 초점이 정확한지를 판단하고, 제어모듈에서는 적외선 방식과 마찬가지로 해석모듈에서 판단한 결과를 이용하여 렌즈의 위치를 이동시킴으로써 초점을 조절한다. 그러나, 반디지털 방식에서도 해석모듈에서 고주파 성분과 초점과의 관계에 대한 신뢰성 및 제어모듈에서 렌즈의 움직임에 따른 모터 구동부의 필요성과 초점 영상을 찾아가는 동안의 시간이 지연되는 문제점이 여전히 존재하고 있다. On the other hand, the semi-digital method determines the focus is correct by calculating the high frequency components in the analysis module, and the control module adjusts the focus by moving the position of the lens using the result determined by the analysis module as in the infrared method. However, even in the semi-digital method, there is still a problem in the reliability of the relationship between the high frequency component and the focus in the analysis module, and the necessity of the motor driver according to the movement of the lens in the control module, and the time delay while searching for the focus image.

상기한 문제를 해결하기 위해서 본 발명에서는 렌즈의 구동이 필요없이 영상처리시스템의 특성에 맞추어 열화된 영상을 복원하는 디지털 초점 조절 방법을 제공하는 것을 목적으로 한다.In order to solve the above problems, an object of the present invention is to provide a digital focusing method for restoring a deteriorated image according to the characteristics of the image processing system without the need of driving the lens.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 방법을 실시하기 위한 디지털 초점 조절 시스템을 제공하는 것을 목적으로 한다.Another object of the present invention is to provide a digital focusing system for implementing the above method.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 디지털 초점 조절 방법을 실행하기 위하여 필요한 영상복원전달함수를 산출하는 방법을 제공한다.In addition, in order to solve the above problem, the present invention provides a method for calculating an image restoration transfer function required to execute the digital focusing method.

또한, 상기한 문제를 해결하기 위해서 본 발명에서는 상기한 영상복원전달함수를 산출하는 시스템을 제공한다.In addition, in order to solve the above problem, the present invention provides a system for calculating the image restoration transfer function.

상기한 목적을 달성하기 위해서 본 발명은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장받는 단계; 입력영상을 입력받는 단계; 상기 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하는 단계; 상기 입력영상과 상기 영상복원전달함수를 승산한 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 단계; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 단계;를 포함하는 것을 특징으로 하는 디지털 초점 조절 방법을 제공한다.In order to achieve the above object, the present invention comprises the steps of storing a plurality of image restoration transfer function calculated through a predetermined process; Receiving an input image; Calculating a value obtained by multiplying the image restoration transfer function by the input image with respect to at least two of the image restoration transfer function; Detecting an image restoration transfer function to be used for an output image by using the result of multiplying the input image and the image restoration transfer function; And outputting an image obtained by multiplying the detected image restoration transfer function with the input image as an output image.

상기 영상복원전달함수 각각은 (a) 상기 영상처리시스템을 통하여 소정의 거리에 위치한 소정 피사체의 영상을 획득하는 단계; (b) 상기 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경계의 방향을 검출하는 단계; (c) 상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 단계; (d) 상기 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 단계; (e) 상기 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 단계; 및 (f) 상기 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하는 단계;를 포함하는 방법을 통하여 획득되는 것이 바람직하다.Each of the image restoration transfer functions comprises the steps of: (a) acquiring an image of a predetermined subject located at a predetermined distance through the image processing system; (b) detecting a predetermined boundary region having a length exceeding a predetermined threshold length in the obtained image and a direction of the boundary; (c) obtaining a step function response of pixels arranged in a direction perpendicular to the boundary; calculating a point spread function value in each pixel of the subject image by using the step function response; (e) calculating an image degradation transfer function indicating a degree of degradation of an image of the subject by using the point spread function value; And (f) calculating an image restoration transfer function capable of reconstructing the degraded image using the image degradation transfer function.

한편, 상기한 목적을 달성하기 위해서 본 발명은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수를 저장하기 위한 영상복원전달함수 저장수단; 입력영상을 입력받는 입력영상획득수단; 상기 영상복원전달함수 저장수단에 저장되어 있는 영상복원전달함수 중 적어도 2개 이상에 대하여 상기 영상복원전달함수와 상기 입력영상을 승산한 값을 각각 산출하고, 상기 산출된 결과를 이용하여 출력영상을 위하여 사용될 영상복원전달함수를 검출하는 영상복원전달함수 검출수단; 및 상기 검출된 영상복원전달함수와 상기 입력영상을 승산한 영상을 출력영상으로 출력하는 영상출력수단;을 포함하는 것을 특징으로 하는 디지털 초점 조절 시스템을 제공한다.On the other hand, the present invention to achieve the above object is an image restoration transfer function storage means for storing a plurality of image restoration transfer function calculated through a predetermined process; Input image acquisition means for receiving an input image; A value obtained by multiplying the image restoration transfer function and the input image by at least two or more image restoration transfer functions stored in the image restoration transfer function storage means is calculated, and output images are calculated using the calculated results. Image restore transfer function detecting means for detecting an image restore transfer function to be used for the purpose of performing the operation; And image output means for outputting an image obtained by multiplying the detected image restoration transfer function with the input image as an output image.

또한, 상기 디지털 초점 조절 시스템은 소정의 거리에 위치한 소정 피사체의 영상으로부터 소정의 임계길이를 초과하는 길이를 갖는 소정 경계 영역 및 상기 경 계의 방향을 검출하는 경계검출수단; 상기 경계의 직각 방향으로 배열된 화소들의 계단함수응답을 구하는 계단함수응답산출수단; 상기 산출된 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출하는 점확산함수산출수단; 상기 산출된 점확산함수 값을 이용하여 상기 피사체의 영상이 열화된 정도를 나타내는 영상열화전달함수를 산출하는 영상열화전달함수산출수단; 및 상기 산출된 영상열화전달함수를 이용하여 상기 열화된 영상을 복원할 수 있는 영상복원전달함수를 산출하여 상기 영상복원전달함수 저장수단에 저장하는 영상복원전달함수 산출수단;을 더 포함하는 것이 바람직하다.The digital focusing system may further include boundary detection means for detecting a direction of the boundary and a predetermined boundary region having a length exceeding a predetermined threshold length from an image of a predetermined subject located at a predetermined distance; Step function response calculating means for obtaining a step function response of pixels arranged in a direction perpendicular to the boundary; Point diffusion function calculation means for calculating a point diffusion function value in each pixel of the subject image by using the calculated step function response; Image degradation transfer function calculating means for calculating an image degradation transfer function indicating a degree of degradation of an image of the subject by using the calculated point spreading function value; And an image restoration transfer function calculating means for calculating an image restoration transfer function for restoring the deteriorated image using the calculated image degradation transfer function and storing the image restoration transfer function in the image restoration transfer function storage means. Do.

한편, 상기한 목적을 달성하기 위해서 본 발명은 상기한 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.On the other hand, in order to achieve the above object, the present invention provides a computer readable recording medium having recorded thereon a program for realizing the above method.

이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 디지털 초점 조절 방법의 개념을 설명하기 위한 개략도로서, 영상 열화(Blur) 과정과 복원 과정들을 설명하기 위한 모델을 도시한 것이다.FIG. 1 is a schematic diagram illustrating a concept of a digital focusing method of the present invention, and illustrates a model for explaining image deterioration (Blur) processes and reconstruction processes.

영상처리시스템에는 제작자나 사용자가 의도하지 않았더라도 초점이 잘 맞지 않았다던가, 시스템 자체의 설계 하자 등의 여러 가지 이유로 인하여 본래의 영상(X)의 초점을 열화시키는 영상 열화 시스템(10)이 존재한다.In the image processing system, there is an image deterioration system 10 that deteriorates the focus of the original image X due to various reasons such as poor focus even if not intended by the producer or the user, or design defect of the system itself. .

도 1에 도시된 영상 열화 시스템(10)의 영상 열화(blur)부(12)는 원래 영상(X)의 초점을 열화시키고, 다음 수학식 1과 같이 주파수 영역(frequency domain)에서 표현되는 초점이 열화된 영상(Y`)을 가산기(14)로 출력한다. The image blurr 12 of the image degradation system 10 shown in FIG. 1 degrades the focus of the original image X, and the focal point expressed in the frequency domain is expressed as in Equation 1 below. The deteriorated image Y 'is output to the adder 14.

Y` = XH Y` = XH

여기서, H는 영상 열화부(12)의 전달함수인 영상 열화 전달함수를 나타낸다. 또한, 수학식 1은 공간 영역(spatial domain)상에서 영상 열화 전달함수와 원래의 영상(x)(여기서, x는 X를 공간 영역상에서 표현한 것)의 콘볼루션(convolution)으로도 표현될 수 있다. Here, H denotes an image degradation transfer function which is a transfer function of the image degradation unit 12. Equation 1 may also be expressed as a convolution of an image degradation transfer function and an original image x (where x represents X in a spatial domain) in a spatial domain.

가산기(14)는 부가적인 백색 가우시안 잡음(N)과 영상 열화부(12)에서 열화된 신호(Y`)를 가산하고, 가산된 결과(Y)를 영상 처리 시스템(20)에서 관측되는 초점이 맞지 않는 영상으로서 출력한다. The adder 14 adds the additional white Gaussian noise N and the signal Y ′ deteriorated in the image deterioration unit 12, and adds the added result Y to the focal point observed in the image processing system 20. Outputs as a mismatched image.

한편, 본 발명은 영상 열화부(12)를 통하여 초점이 열화되고, 노이즈(N)가 가산된 영상(Y)를 소정의 영상복원전달함수를 이용한 복원시스템(또는 영상 처리 시스템)(20)을 통하여 열화된 영상(Y)을 본래의 영상(X)에 가까운 영상(

)으로 복원한다.On the other hand, the present invention provides a restoration system (or image processing system) 20 using a predetermined image restoration transfer function of the image Y defocused through the image degradation unit 12 and the noise N is added. Deteriorated image (Y) through the image close to the original image (X)

Restore to).

영상 처리 시스템(20)의 본 발명에 의한 디지털 초점 조절 장치(22)는 관측된 영상(Y)으로부터 다음 수학식 2로 표현되는 원래의 영상(

)을 복원한다.The digital focusing apparatus 22 according to the present invention of the image processing system 20 uses the original image represented by the following equation (2) from the observed image (Y).

Restore).

= YG = (Y` + N)G = (XH + N)G

= YG = (Y` + N) G = (XH + N) G

여기서,

, Y, N 및 X 들은 열(column) 벡터들이며, G는 본 발명에 의한 디지털 초점 조절 장치의 전달함수인 영상 복원 전달함수로서, 다음 수학식 3과 같다. here,

, Y, N and X are column vectors, and G is an image reconstruction transfer function which is a transfer function of the digital focusing apparatus according to the present invention.

여기서, H^*는 H의 공액을 나타내고, C`는 선형 고역 통과 필터의 연산자로서 Kenneth R. Castleman 에 의해 Digital Image Processing의 제목으로 저술되고 Prentice-Hall 출판사로부터 1996년에 출간된 책의 397페이지에 상세히 기술되어 있다. 이 책에서는 C`가 P(n,v)로 나타나 있다. λ는 라그랑제 곱셈자(Lagrange multiplier)로 이에 대해서는 후술한다.Where H ^* represents the conjugate of H, and C` is the operator of the linear high pass filter, as described by Kenneth R. Castleman under the title of Digital Image Processing, on page 397 of a book published in 1996 by Prentice-Hall Publishers. It is described in detail. In this book, C 'is represented as P (n, v). [lambda] is a Lagrange multiplier, which will be described later.

한편, 주어진 열화 영상(Y)로부터 원래의 영상(X)를 구하는 수많은 방법들이 개발되어 왔다. On the other hand, numerous methods have been developed for obtaining the original image X from a given deteriorated image Y.

전술한 영상 복원 전달함수에 대해 간략하게 살펴보면 다음과 같다. The above-described image restoration transfer function will be briefly described as follows.

영상 복원의 문제는 도 1에 도시된 영상 열화 과정의 모델로부터, 원래의 영상(X)과 가장 근접하도록, 열화된 관측 영상(Y)에 역의 과정을 적용하는 것이다. 이러한 역의 과정을 적용할 때 영상복원 문제는 대개 ill-posed problem이 되며, 이 ill-posed problem은 원래 영상의 작은 변동이 복원된 영상이 존재하는 해(solution)의 영역에서 무한한 변동으로 나타날 수 있음을 의미한다. 그러므로, 복원된 영상은 해의 영역에서 영상의 부드러움과 거친 정도를 적절하게 유지해주는 방향으로 추정되어야 한다. 이를 위해, ill-posed problem을 well-posed problem으로 바꾸는 정칙화(regularization) 이론에서, 다음 수학식 4의 2차 평활화 함수(smoothing function)[F(λ, x)]는 해의 영역에서 평탄한 영역과 잡음 영역의 기준(norm)을 제한하는 데 사용된다.The problem of image reconstruction is to apply an inverse process to the deteriorated observed image (Y) from the model of the image deterioration process shown in FIG. 1 to be closest to the original image (X). When applying this inverse process, the image restoration problem is usually an ill-posed problem, and this ill-posed problem may appear as infinite variation in the area of the solution where the small variation of the original image exists. It means that there is. Therefore, the reconstructed image should be estimated in a direction that properly maintains the softness and roughness of the image in the area of the solution. To do this, in the theory of regularization, which converts an ill-posed problem into a well-posed problem, the second smoothing function [F (λ, x)] in Equation 4 is a flat region in the solution region. It is used to limit the norm of the and noise regions.

여기서, 라그랑제 곱셈자 λ는

항과

항들 중 어느 항에 가중을 둘 것인지를 결정하고, y는 Y를 공간 영역상에서 표현한 것이다. 즉, λ 값이 감소되면 복원된 영상에서 잡음 성분은 증가하고, λ값이 증가하면 복원된 영상은 극도로 평활화(ultra smoothed)된다. 그러므로, 함수 F(λ, x)를 최소화 시키는 최적의 λ값을 결정해야 한다. 여기서, F(λ, x)를 최소화시키기 위해 소정 λ를 수학식 4에 대입하면, 다음 수학식 5와 같다. Where the Lagrange multiplier λ is

Section

Determine which of the terms are weighted, and y represents Y in the space domain. That is, when the lambda value decreases, the noise component increases in the reconstructed image, and when the lambda value increases, the restored image is extremely smoothed. Therefore, we need to determine the optimal lambda value that minimizes the function F (λ, x). Here, substituting a predetermined lambda into Equation 4 to minimize F (λ, x) is given by Equation 5 below.

여기서, x^T는 x의 전치행렬을 의미하고, x는 열 벡터로서 x의 i번째 원소를 나타내며, 벡터 b와 행렬 T는 각각 다음 수학식 6과 같다. Here, x ^T denotes the transpose of x, x denotes the i-th element of x as a column vector, and the vector b and the matrix T are represented by Equation 6 below.

상기한 식들에서 대입하는 λ를 구하는 방법은 종래에 여러 가지 방법이 연구되어 왔고, 본 발명에서 특징으로 삼는 부분이 아니므로 λ를 구하는 구체적인 방법에 대해서 자세한 설명은 생략한다. As a method of obtaining λ substituted in the above formulas, various methods have been studied in the related art, and detailed descriptions of specific methods of obtaining λ are omitted since they are not featured in the present invention.

한편, 함수 F(x)의 행렬 T는 포지티브 세미 디피니티(positive semidefinite)의 성질을 가지며 함수 F(x)를 최소화시키기 위한 조건은 x가 다음 수학식 7과 같은 선형 방정식의 해를 만족시키면 된다. 여기서, 포지티브 세미 디피니티(positive semidifinite) 성질은 Linear algebra and its applications라는 제목으로 Gilbert Strang에 의해 저술되고 SAUNDERS 출판사로부터 1988년 3차(third edition)로 출간된 책의 54페이지에 기술되어 있다. Meanwhile, the matrix T of the function F (x) has a property of positive semidefinite, and a condition for minimizing the function F (x) is that x satisfies a solution of a linear equation as shown in Equation 7 below. . Positive semidifinite properties are described here on page 54 of a book by Gilbert Strang under the title Linear algebra and its applications and published in the third edition of 1988 by SAUNDERS Publishing.

T`x = bT`x = b

그러므로, x는 다음 수학식 8이 된다. Therefore, x becomes the following expression (8).

전술한 수학식 8의 블록 순환 행렬 방정식을 2차원 이산 푸리에 변환하면, 수학식 3과 같은 영상 복원 전달함수 즉, 제한적 최소 평방(CLS: Constrained Least Squares) 필터의 주파수 응답이 구해진다. When the block circulant matrix equation of Equation 8 described above is two-dimensional discrete Fourier transform, the frequency response of the image reconstruction transfer function as in Equation 3, that is, a constrained least squares (CLS) filter is obtained.

이하, 본 발명에 의한 영상처리 시스템의 디지털 초점 조절 방법 및 시스템을 첨부한 도면들을 참조하여 보다 구체적으로 알아본다.Hereinafter, a digital focus adjusting method and system of an image processing system according to the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 디지털 초점 조절 시스템을 도시한 블록선도이다.2 is a block diagram illustrating a digital focusing system of the present invention.

본 발명의 디지털 초점 조절 시스템은 영상복원전달함수 저장수단(110), 입 력영상획득수단(120), 입력영상분할수단(130), 영상복원전달함수 검출수단(140), 영상복원전달함수 검출수단(140) 및 영상출력수단(150)를 포함하여 구성된다.The digital focus control system of the present invention includes an image restoration transfer function storage means 110, an input image acquisition means 120, an input image division means 130, an image restoration transfer function detection means 140, and an image restoration transfer function detection. It comprises a means 140 and the image output means 150.

영상복원전달함수 저장수단(110)은 소정의 과정을 통하여 산출된 복수의 영상복원전달함수(111)를 저장한다.The image restoration transfer function storing means 110 stores a plurality of image restoration transfer functions 111 calculated through a predetermined process.

여기서 영상복원전달함수 저장수단(110)에 저장되는 복수의 영상복원전달함수(111) 각각은 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 촬영한 영상을 이용하여 산출된 것이거나 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 촬영한 영상을 이용하여 산출된 것이 바람직하다.Here, each of the plurality of image restoration transfer functions 111 stored in the image restoration transfer function storage means 110 may be calculated using an image taken while varying a distance from a reference subject while fixing a focal length. Alternatively, the image may be calculated using an image photographed while changing both a focal length and a distance between the subject.

즉, 초점거리를 일정하게 고정시킨 상태에서 기준이 되는 피사체를 소정의 거리 간격, 예를 들어 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 산출된 영상복원전달함수만을 이용할 수도 있고, 앞에서와 같은 과정을 초점거리를 이동시키면서 반복, 예를 들어 초점거리를 1m로 한 상태에서 기준이 되는 피사체와의 거리를 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 영상복원전달함수(111)를 산출하고, 다시 초점거리를 1.1m로 한 상태에서 기준이 되는 피사체와의 거리를 5cm 간격으로 이동시키면서 촬영한 각각의 영상을 이용하여 영상복원전달함수(111)를 산출하는 등의 방식으로 산출된 영상복원전달함수(111)들 모두가 영상복원전달함수 저장수단(110)에 저장되도록 할 수도 있다.That is, only the image restoration transfer function calculated using each image photographed while moving the reference object at a predetermined distance interval, for example, 5 cm interval, with the focal length fixed, may be used. Repeating the same process while moving the focal length, for example, using the respective images taken while moving the distance from the reference subject at 5 cm intervals with the focal length set to 1 m, the image restoration transfer function 111 is used. The image restoration transfer function 111 is calculated by using each image photographed while moving the distance from the reference subject at 5 cm intervals while the focal length is 1.1 m. All of the image restoration transfer function 111 may be stored in the image restoration transfer function storage means 110.

이렇게 영상 처리 시스템의 초점거리를 일정하게 고정시킨 상태에서 피사체의 거리를 이동시켜 가면서 촬영을 하게 되면, 초점이 정확히 맞는 영상도 있겠지만, 획득된 대부분의 영상들은 초점이 맞지 않게 되는 열화된 영상의 형태를 보일 것이고, 이 열화된 영상의 특성을 살펴봄으로써 영상 처리 시스템의 특성을 알 수 있고, 이를 이용하여 디지털 초점 조절 시스템에 사용될 영상복원전달함수(111)를 구할 수 있게 된다.When shooting while moving the distance of the subject while the focal length of the image processing system is fixed, the image may be in focus correctly, but most of the acquired images are a form of deteriorated image that is out of focus. By looking at the characteristics of the deteriorated image, it is possible to know the characteristics of the image processing system, and it is possible to obtain the image restoration transfer function 111 to be used in the digital focusing system.

여기서, 영상복원전달함수(111)를 산출하는 시스템은 본 발명의 디지털 초점 조절 시스템에 포함되어 있을 수도 있고, 별개의 시스템을 통하여 구현될 수도 있다. 도 3은 본 발명에 사용되는 영상복원전달함수(111)를 산출하기 위한 시스템을 도시한 블록선도이다.In this case, the system for calculating the image restoration transfer function 111 may be included in the digital focusing system of the present invention or may be implemented through a separate system. 3 is a block diagram showing a system for calculating the image restoration transfer function 111 used in the present invention.

본 발명에서 영상복원전달함수(111)를 산출하기 위한 시스템은 기준영상획득수단(210), 경계검출수단(220), 계단함수응답 산출수단(230), 점확산함수 산출수단(240), 영상열화전달함수 산출수단(250) 및 영상복원전달함수 산출수단(260)를 포함하고, 여기서 경계검출수단(220)은 영상분할수단(221), 부영상경계영역 검출수단(222), 부영상경계방향검출수단(223)을 포함하여 구성될 수 있다.In the present invention, a system for calculating an image restoration transfer function 111 includes a reference image acquisition means 210, a boundary detection means 220, a step function response calculation means 230, a point diffusion function calculation means 240, and an image. Deterioration transfer function calculation means 250 and image restoration transfer function calculation means 260, wherein the boundary detection means 220 is an image division means 221, sub-image boundary region detection means 222, sub-image boundary direction detection And means 223.

기준영상획득수단(210)은 일반적으로 피사체를 촬영하기 위한 장치로서, 도 2의 디지털 초점 조절 시스템에서 사용될 영상복원전달함수(111)를 구하기 위하여 사용되는 소정 거리에 위치한 소정의 피사체의 영상을 획득한다.The reference image acquisition unit 210 is a device for photographing a subject in general, and acquires an image of a predetermined subject located at a predetermined distance used to obtain an image restoration transfer function 111 to be used in the digital focus control system of FIG. 2. do.

피사체의 형상은 임의로 결정될 수 있으나, 도 6에 도시된 바와 같이 수직-단일 방향의 경계를 지니는 계단 형태의 단순한 흑백 영상인 것이 수행될 연산의 양 등의 관점에서 바람직하다.Although the shape of the subject may be arbitrarily determined, as illustrated in FIG. 6, a simple black and white image in the form of a staircase having a vertical-unidirectional boundary is preferable in view of the amount of computation to be performed.

기준영상획득수단(210)은 도 3의 시스템이 도 2와 독립적으로 구성되는 경우 에는 필요하지만, 도 2의 디지털 초점 조절 시스템에 포함되어 구성되는 경우에는 도 3의 입력영상획득수단(120)으로 대체될 수 있다.Reference image acquisition means 210 is required when the system of FIG. 3 is configured independently of FIG. 2, but is included in the digital focus control system of FIG. 2 as the input image acquisition means 120 of FIG. 3. Can be replaced.

경계검출수단(220)은 기준영상획득수단(210)을 통하여 획득된 영상에서 소정의 임계길이를 초과하는 길이를 갖는 소정 경계(edge) 영역 및 상기 경계의 방향을 검출한다.The boundary detecting unit 220 detects a predetermined edge region having a length exceeding a predetermined threshold length and the direction of the boundary in the image acquired through the reference image obtaining unit 210.

피사체의 모양이 항상 일정하고, 그 경계의 방향 및 경계의 정확한 위치가 미리 정해져 있다면, 예를 들어 항상 촬영된 영상의 정 중앙에서 수직 방향으로 단일의 경계가 형성되도록 피사체의 촬영이 수행된다면 경계검출수단(220)에서는 그 경계의 위치 및 방향 등을 입력받아 저장하는 정도의 기능만 수행하면 충분하다.If the shape of the subject is always constant and the direction of the boundary and the exact position of the boundary are predetermined, for example, if the subject is photographed so that a single boundary is always formed in the vertical direction from the center of the captured image, the boundary detection is performed. In the means 220, it is sufficient to perform only a function of receiving and storing the position and the direction of the boundary.

그러나, 만약 기준이 되는 피사체의 모양이 경계검출수단(220)에 저장되어 있지 않다면 경계검출수단(220)은 입력된 피사체의 영상을 분석하여 영상에서의 경계부분의 위치 및 방향을 검출한다.However, if the shape of the reference object is not stored in the boundary detecting means 220, the boundary detecting means 220 analyzes the image of the input subject to detect the position and direction of the boundary portion in the image.

이렇게 입력된 영상을 분석할 필요성이 있는 경우, 경계검출수단(220)은 영상분할수단(221), 부영상경계영역 검출수단(222) 및 부영상경계방향검출수단(223)을 구비하여 입력된 기준영상을 분석한다.When there is a need to analyze the input image, the boundary detecting means 220 includes an image dividing means 221, a sub-image boundary region detecting means 222, and a sub-image boundary direction detecting means 223. Analyze

영상분할수단(221)은 기준영상획득수단(210)을 통하여 입력된 기준이 되는 피사체의 영상을 소정 개수의 부영상으로 분할한다. 예를 들어, 입력된 영상이 B×B 크기의 영상인 경우, 이를 P×P 크기의 부영상 (P/B)²개로 영상을 분할한다.The image dividing unit 221 divides the image of the subject, which is the reference input through the reference image obtaining unit 210, into a predetermined number of sub-images. For example, if the input image is an image of size B × B, the image is split into ^two P × P sub-pictures (P / B).

부영상경계영역 검출수단(222)은 분할된 각 영상에 경계가 존재하는지를 검 출하고, 부영상경계방향검출수단(223)은 경계가 존재하는 것으로 판단된 부영상에서의 각각의 경계 방향을 검출한다. 여기서, 경계(edge)란 상대적으로 밝기의 변화가 급격하게 변화하는 영역을 의미한다.The sub-image boundary region detecting means 222 detects whether a boundary exists in each of the divided images, and the sub-image boundary direction detecting means 223 detects each boundary direction in the sub-image determined to have a boundary. Herein, the edge refers to an area where a change in brightness changes relatively rapidly.

계단함수응답 산출수단(230)은 경계검출수단(220)를 통하여 경계 영역 및 경계 방향이 검출되면, 획득된 영상에서 검출된 경계방향에 직각인 방향으로 위치한 화소(pixel)들을 이용하여 계단함수응답을 산출한다.When the boundary region and the boundary direction are detected through the boundary detection means 220, the step function response calculating unit 230 uses the pixels located in the direction perpendicular to the boundary direction detected in the acquired image. To calculate.

이 때, 경계 방향에 직각인 어느 하나의 열의 화소들의 계단함수응답만을 구하는 경우 노이즈에 의한 영향을 배제할 수 없으므로, 동일한 경계 방향에 직각인 화소열 복수개, 바람직하게는 모든 화소열을 대상으로 계단함수응답을 구한 후, 이를 평균하여 평균계단함수응답을 산출하도록 하는 것이 바람직하다.In this case, when only the step function response of pixels in one column perpendicular to the boundary direction is obtained, the influence of noise cannot be excluded, and thus, a step is performed on a plurality of pixel columns perpendicular to the same boundary direction, preferably all pixel columns. After obtaining the function response, it is preferable to calculate the average step function response by averaging it.

점확산함수 산출수단(240)은 계단함수응답 산출수단(230)에서 산출된 계단함수응답을 이용하여 상기 피사체 영상의 각 화소에서의 점확산함수 값을 산출한다. 각 화소에서의 점확산함수 값을 산출하는 자세한 과정은 후술한다.The point diffusion function calculation unit 240 calculates the value of the point diffusion function in each pixel of the subject image by using the step function response calculated by the step function response calculation unit 230. A detailed process of calculating the point spread function value in each pixel will be described later.

영상열화전달함수 산출수단(250)은 점확산함수 산출수단(240)에서 산출된 각 화소에서의 점확산함수 값을 이용하여 영상처리시스템에 입력된 영상을 열화시키는 영상열화전달함수를 산출한다.The image degradation transfer function calculating unit 250 calculates an image degradation transfer function that degrades an image input to the image processing system by using the value of the point diffusion function in each pixel calculated by the point diffusion function calculating unit 240.

영상복원전달함수 산출수단(260)은 영상열화전달함수 산출수단(250)에서 산출된 영상열화전달함수를 이용하여 이 영상열화전달함수에 의하여 열화된 영상을 복원시킬 수 있는 영상복원전달함수를 산출한다.The image restoration transfer function calculating unit 260 calculates an image restoration transfer function capable of restoring the image degraded by the image degradation transfer function using the image degradation transfer function calculated by the image degradation transfer function calculating unit 250. do.

이렇게 산출된 영상복원전달함수(111)는 도 2의 영상복원전달함수 저장수단(110)에 저장된다.The image restoration transfer function 111 thus calculated is stored in the image restoration transfer function storage means 110 of FIG.

다시 도 2로 돌아가서, 입력영상획득수단(120)은 영상처리시스템을 이용하여 촬영하고자 하는 영상을 입력받는다. 입력영상획득수단(120)은 일반적인 영상처리시스템에서 사용하는 방식과 동일한 방식을 통하여 구현되므로 여기서는 더 이상의 설명은 생략한다.2, the input image acquisition unit 120 receives an image to be photographed using an image processing system. Since the input image acquisition means 120 is implemented through the same method as that used in a general image processing system, further description thereof will be omitted.

입력영상분할수단(130)은 입력된 영상을 소정개수의 입력부영상으로 분할한다. 입력된 영상을 분할하지 않아도 본 발명이 이루고자 하는 목적을 충분히 달성할 수 있으나, 입력된 영상을 분할하여 각각의 입력부영상을 별개의 과정을 거쳐서 처리할 경우 더욱 더 좋은 효과를 달성할 수 있어서 바람직하다.The input image dividing means 130 divides the input image into a predetermined number of input sub-images. Although the object of the present invention can be sufficiently achieved without dividing the input image, it is preferable to divide the input image and to achieve a better effect when processing each input image through a separate process. .

예를 들어, 두 사람이 서 있는 영상을 촬영하고자 하는 경우, 만약 한 사람은 영상처리시스템으로부터 1m 거리에 위치해 있고, 다른 한 사람은 영상처리시스템으로부터 1.5m 거리에 위치해 있다고 가정하자. 이 때, 1m 거리에 위치한 사람을 중심으로 하여 초점을 잡으면 1.5m 거리에 있는 사람의 영상은 초점이 제대로 잡히지 않아 많이 열화된 상태로 출력될 것이다.For example, suppose that two people want to photograph a standing image, if one person is located 1m away from the image processing system and the other person is located 1.5m away from the image processing system. At this time, if the focus is focused on a person located at a distance of 1m, the image of the person at a distance of 1.5m will not be properly focused and will be output in a deteriorated state.

이 때, 입력된 영상에서 1m 거리에 있는 사람이 있는 부분은 초점거리 1m로 설정한 상태에서 1m 거리에 있는 피사체를 촬영할 때 이용하는 영상복원전달함수를 이용하여 영상을 복원하고, 1.5m 거리에 있는 사람이 있는 부분은 초점거리 1m로 설정한 상태에서 1.5m 거리에 있는 피사체를 촬영할 때 이용하는 영상복원전달함수를 이용하여 영상을 복원한 후 하나의 영상으로 출력하면 전체적으로 양호한 영상이 출력되도록 할 수 있을 것이다.At this time, the part with the person at 1m distance from the input image is restored to the image using the image restoration transfer function that is used when photographing a subject at 1m with the focal length set to 1m. If the part with human is set to a focusing distance of 1m and the image is restored by using the image restoration transfer function used when photographing a subject at a distance of 1.5m, it can be output as a single image so that the whole good image can be output. will be.

영상복원전달함수 검출수단(140)은 입력영상획득수단(120) 및/또는 입력영상분할수단(130)을 통하여 입력된 영상과 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 각각을 승산한 값을 각각 산출하고, 산출된 결과에서 가장 고주파 성분이 많이 발생하게 하는 영상복원전달함수를 출력영상을 위하여 사용될 영상복원전달함수로 검출한다.The image restoring function detecting means 140 is an image restoring function stored in the image restoring means storing means 110 and the image inputted through the input image acquiring means 120 and / or the input image splitting means 130. Each of the multiplied values is calculated, and an image restoration transfer function for generating the most high frequency components is detected as an image restoration transfer function to be used for the output image.

이 때, 영상복원전달함수 검출수단(140)은 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 전부를 하나씩 입력영상에 승산하여 그 결과를 이용할 수 있지만, 그 중 몇 개의 영상복원전달함수만을 이용하여 출력영상에 사용될 영상복원전달함수를 검출할 수도 있다.In this case, the image restoration transfer function detecting unit 140 may multiply all of the image restoration transfer functions stored in the image restoration transfer function storage unit 110 by one input image and use the result, but some of the images The image restoration transfer function to be used for the output image may be detected using only the restoration transfer function.

예를 들어, 자동초점(Auto Focusing)기능 또는 사용자가 수동으로 설정한 결과, 초점거리가 1m로 설정되어 있다면 실제로 사용자에 의해 촬영될 피사체는 1m 정도에 위치해 있을 확률이 높을 것이므로 초점거리를 1m로 설정한 상태에서 피사체를 1m 정도, 예를 들어 80cm ~ 120cm에 둔 상태로 촬영한 경우에 이용될 수 있는 영상복원전달함수만을 이용하여 출력영상에 이용될 영상복원전달함수를 결정하더라도 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수 전부에 대하여 각각 다 연산을 수행한 결과와 큰 차이가 나지는 않을 것이다.For example, if the auto focusing function or the manual setting by the user indicates that the focus distance is set to 1 m, the focus distance is set to 1 m since the subject to be photographed by the user is likely to be located about 1 m. Even if the subject is set to about 1m, for example, 80cm ~ 120cm, the image restoration transfer function to be used for the output image is determined using only the image restoration transfer function that can be used. The result of performing each operation on all of the image restoration transfer functions stored in the storage means 110 will not be significantly different.

다만, 초점이 잘못 설정된 경우에는 전체적으로 영상복원전달함수를 이용한 경우보다도 열화된 영상이 출력되게 되는 문제가 발생될 수 있으므로, 일부만 사용해서 결정된 영상복원전달함수를 이용한 최종 출력영상의 고주파 성분이 소정의 임계값보다 작은 경우에는 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복 원전달함수 전체에 대하여 각각 연산을 수행하는 단계를 다시 거치도록 하는 것이 바람직하다.However, if the focus is set incorrectly, a problem may occur in that the degraded image is output as compared with the case of using the image restoration transfer function as a whole. Therefore, a high frequency component of the final output image using the image restoration transfer function determined using only a part of the image may be predetermined. If it is smaller than the threshold value, it is preferable to re-perform the operation for each of the image restoration transfer function stored in the image restoration transfer function storage means 110.

영상출력수단(150)은 영상복원전달함수 검출수단(140)를 통하여 검출된 영상복원전달함수와 입력된 영상을 승산한 영상을 출력영상으로 출력한다.The image output means 150 outputs an image obtained by multiplying the image restoration transfer function detected by the image restoration transfer function detecting means 140 and the input image as an output image.

도 4 및 도 5를 중심으로 본 발명을 보다 구체적으로 살펴본다. 도 4는 본 발명에서 디지철 초점을 조절하는 방법을 도시한 흐름도이고, 도 5는 본 발명에서 영상복원전달함수를 산출하는 방법을 도시한 흐름도이다.The present invention will be described in more detail with reference to FIGS. 4 and 5. 4 is a flowchart illustrating a method of adjusting a digital focus in the present invention, and FIG. 5 is a flowchart illustrating a method of calculating an image restoration transfer function in the present invention.

본 발명에서와 같은 방법으로 디지털 초점을 조절하기 위해서는 먼저 디지털 초점 조절에 이용될 영상복원전달함수를 저장하는 작업이 선행되어야 한다(401). 이 영상복원전달함수를 산출하는 방법은 도 5에 도시되어 있다.In order to adjust the digital focus in the same manner as in the present invention, the operation of storing the image restoration transfer function to be used for digital focus adjustment must first be performed (401). A method of calculating this image restoration transfer function is shown in FIG.

영상복원전달함수(111)를 산출하기 위해서는 먼저 영상복원전달함수(111)의 산출에 사용될 피사체의 영상을 획득하여야 한다(501).In order to calculate the image restoration transfer function 111, first, an image of a subject to be used for calculating the image restoration transfer function 111 should be acquired (501).

여기서 산출되는 복수의 영상복원전달함수 각각을 산출하기 위해서 초점거리를 고정한 상태에서 기준이 되는 피사체와의 거리를 달리하면서 영상을 촬영하거나, 또는 초점거리와 상기 피사체와의 거리를 모두 변화시키면서 영상을 촬영하는 것이 바람직함은 이미 살펴본 바와 같다.In order to calculate the plurality of image restoration transfer functions calculated here, the image is taken while the distance between the reference subject is fixed while the focal length is fixed, or the image is changed while changing both the focal length and the distance between the subject. It is desirable to take a picture as already discussed.

또한, 영상복원전달함수를 산출하기 위하여 사용되는 피사체는 임의로 결정될 수도 있지만, 도 6과 같은 수직-단일 방향의 경계를 지니는 계단 형태의 단순한 흑백 영상을 이용하는 것이 바람직하다.In addition, although the subject used to calculate the image restoration transfer function may be arbitrarily determined, it is preferable to use a simple black-and-white image having a stair-shaped boundary as shown in FIG. 6.

이렇게 기준영상획득수단(210)을 통하여 피사체의 영상이 입력되면, 경계검 출수단(220)은 피사체의 영상의 경계 영역 및 경계 방향을 검출한다.When the image of the subject is input through the reference image acquisition means 210 as described above, the boundary detecting unit 220 detects the boundary region and the boundary direction of the image of the subject.

도 6에서와 같이 피사체의 모양이 항상 일정하고, 그 경계의 방향 및 경계의 정확한 위치가 미리 정해져 있다면, 예를 들어 항상 촬영된 영상의 정 중앙에서 수직 방향으로 단일의 경계가 형성되도록 피사체의 촬영이 수행된다면 경계검출수단(220)에서는 그 경계의 위치 및 방향 등을 입력받아 저장하는 정도의 기능만 수행하면 충분하다.If the shape of the subject is always constant as shown in FIG. 6 and the direction and the exact position of the boundary are predetermined, for example, the subject is photographed so that a single boundary is always formed in the vertical direction from the center of the captured image. If this is performed, the boundary detecting means 220 is sufficient to perform only a function of receiving and storing the position and direction of the boundary.

이렇게 입력된 영상을 분석할 필요성이 있는 경우, 영상분할수단(221)은 기준영상획득수단(210)을 통하여 입력된 기준이 되는 피사체의 영상을 소정 개수의 부영상으로 분할한다(502). 예를 들어, 입력된 영상이 B×B 크기의 영상인 경우, 이를 P×P 크기의 부영상 (P/B)²개로 영상을 분할한다. 여기서, B는 P의 배수일 수 있다.When there is a need to analyze the input image, the image dividing means 221 divides the image of the subject, which is the reference input through the reference image obtaining means 210, into a predetermined number of sub-images (502). For example, if the input image is an image of size B × B, the image is split into ^two P × P sub-pictures (P / B). Here, B may be a multiple of P.

부영상경계영역 검출수단(222)은 분할된 각 영상에 경계가 존재하는지를 검출하고, 부영상경계방향검출수단(223)은 경계가 존재하는 것으로 판단된 부영상에서의 각각의 경계 방향을 검출한다(503). 여기서, 경계(edge)란 상대적으로 밝기의 변화가 급격하게 변화하는 영역을 의미한다.The sub-image boundary region detecting means 222 detects whether a boundary exists in each of the divided images, and the sub-image boundary direction detecting means 223 detects each boundary direction in the sub-image in which it is determined that the boundary exists (503). . Herein, the edge refers to an area where a change in brightness changes relatively rapidly.

각 부영상들에 대하여 경계의 존재 유무 및 경계의 방향을 결정하는 방법은 도 7에 도시되어 있다.A method of determining the presence or absence of a boundary and the direction of the boundary for each sub-image is illustrated in FIG. 7.

영상의 해석에 있어서, 가장 기본적이고 중요한 문제중의 하나가 경계 검출과 분류이다. 일반적으로 경계는 상대적으로 밝기의 변화가 급격하게 변화하는 두 영역의 경계를 의미한다. 경계의 검출 방법에는 여러 가지 방법이 있을 수 있지만, 본 발명에서는 블럭 이산 코사인 변환(BDCT:Block Discrete Cosine Transform)을 사용하여 경계를 분류할 수 있다. 이를 위해, 영상이 열화되는 과정이 선형 공간 불변적이거나 또는 영상 열화 전달함수(H)가 블럭 토플리츠(block Toeplitz) 행렬이면서 블럭 순환 구조라는 가정과, [수학식 3]에 나타난 연산자(C')가 블럭 기반으로 분류된 경계의 방향 정보에 따라 결정되는 블럭-적응적인 고역 통과 필터의 연산자라는 가정들이 필요하다. 이 블럭 기반의 블럭이란, 각 부 영상을 의미한다. One of the most fundamental and important problems in image interpretation is boundary detection and classification. In general, the boundary refers to a boundary between two regions where the change in brightness changes relatively rapidly. There may be various methods for detecting the boundary. However, in the present invention, the boundary may be classified using a block discrete cosine transform (BDCT). To this end, it is assumed that the process of image degradation is linear space invariant or that the image degradation transfer function (H) is a block Toeplitz matrix and a block cyclic structure, and the operator (C ') shown in [Equation 3]. It is necessary to assume that is an operator of a block-adaptive high pass filter that is determined according to the direction information of the boundary classified on a block basis. This block-based block means each sub-picture.

도 7는 5의 각 부영상별로 경계영역 및 경계방향을 검출하는 방법을 도시한 흐름도로써, DCT 계수들을 구하는 단계(701) 및 DCT 계수들과 소정 임계값을 비교하여 경계의 방향을 추정하는 단계로 이루어진다. FIG. 7 is a flowchart illustrating a method of detecting a boundary region and a boundary direction for each sub-image of 5. The method includes obtaining DCT coefficients 701 and estimating the direction of the boundary by comparing the DCT coefficients with a predetermined threshold value. Is done.

도 8a~8e은 분류된 경계 방향의 형태를 나타내는 도면들로서, 도 8a는 경계의 방향이 단조로운(monotone)로운 것을 나타내고, 도 8b는 수평 방향의 경계를 나타내고, 도 8c는 수직 방향의 경계를 나타내고, 도 8d는 45°기울어진 방향의 경계를 나타내고, 도 8e는 135°기울어진 방향의 경계를 나타낸다. 8A to 8E are diagrams illustrating the shapes of the sorted boundary directions, in which FIG. 8A shows a monotone boundary, FIG. 8B shows a horizontal boundary, and FIG. 8C shows a vertical boundary. 8D shows the boundary in a 45 ° tilted direction, and FIG. 8E shows the boundary in a 135 ° tilted direction.

먼저, 분할된 부 영상들 각각에 대한 DCT블럭에서 수직 방향의 경계 및 수평 방향의 경계를 나타내는 두개의 DCT 계수들(C_v 및 C_h)을 구한다(701). 여기서, DCT 계수들을 구하는 일반식은 다음 [수학식 9]와 같다.First, two DCT coefficients C _v and C _h representing a vertical boundary and a horizontal boundary are obtained from a DCT block for each of the divided sub-pictures (701). Here, the general equation for obtaining the DCT coefficients is expressed by Equation 9 below.

여기서,

이다.here,

to be.

여기서, DCT계수{C(k₁, k₂)}는 해당 DCT 블럭{x(n₁, n₂)}(0≤n ₁≤P-1 및 0≤n₂≤P-1)에 대해 존재하는 P×P개의 서로 다른 기저 함수들 중에서 (k₁, k₂)번째의 기저 함수가 포함되어 있는 정도를 나타내는 값이다. 만일, P=8인 경우 64개의 DCT 계수들이 생성되며, 64개의 기저 함수들 중에서 (0,1)과 (1,0)번째의 기저 함수 성분을 나타내는 C_v와 C_h는 다음 수학식 10과 같이 표현된다. Here, the DCT coefficient {C (k ₁ , k ₂ )} is present for the corresponding DCT block {x (n ₁ , n ₂ )} (0≤n ₁ ≤P-1 and 0≤n ₂ ≤P-1) This value represents the degree to which the (k ₁ , k ₂ ) th base function is included among the P × P different basis functions. If P = 8, 64 DCT coefficients are generated. Among the 64 basis functions, C _v and C _h representing the (0,1) and (1,0) th base function components are It is expressed as

단계 (701) 후에, C_v 및 C_h의 절대값들(｜C_v｜, ｜C_h｜)이 각각 소정 임계값(Th)보다 적은가를 판단한다(702). 만일, |C_v｜ 및 |C_h｜가 각각 Th보다 적으면, 경계의 방향은 도 8a에 도시된 바와 같이 단조로운 것으로 추정한다(710). After step 701, the absolute value of C _v and _{_{C h (| C v |,}} | C h |) is determined for each jeokeunga than a predetermined threshold value (Th) (702). If | C _v | and | C _h | are less than Th, respectively, the direction of the boundary is assumed to be monotonous as shown in FIG. 8A (710).

그러나, ｜C_v｜ 및 ｜C_h｜들이 각각 Th보다 적지 않으면, ｜C_h｜에서 ｜C _v｜를 감산한 값이 Th보다 큰가를 판단한다(703). 만일, ｜C_h｜에서 ｜C_v｜를 감산한 값이 Th보다 크면, 경계의 방향을 도 8b에 도시된 수평 방향으로 추정한다(730). However, if | C _v | and | C _h | are not less than Th, respectively, it is determined whether the value obtained by subtracting | C _v | from | C _h | is greater than Th (703). If the value obtained by subtracting | C _v | from | C _h | is larger than Th, the direction of the boundary is estimated in the horizontal direction shown in FIG. 8B (730).

그러나, ｜C_h｜에서 ｜C_v｜를 감산한 값이 Th보다 크지 않으면, ｜C_v｜에서 ｜C_h｜를 감산한 값이 Th보다 큰가를 판단한다(704). ｜C_v｜에서 ｜C_h｜를 감산한 값이 Th보다 크면, 경계의 방향을 도 8c에 도시된 수직 방향으로 추정한다(720). However, | C _h | in | C _v | If the value obtained by subtracting a larger than Th, | C _v | is a value determined by subtracting a larger than Th (704) | C _h | in. If the value obtained by subtracting | C _h | from | C _v | is larger than Th, the direction of the boundary is estimated in the vertical direction shown in FIG. 8C (720).

그러나, ｜C_v｜에서 ｜C_h｜ 감산한 값이 Th보다 크지 않으면, C_h와 C _v를 승산한 값이 양수인가를 판단한다(705). 만일, C_h와 C_v를 승산한 값이 양수이면, 경계의 방향을 도 8d에 도시된 바와 같이 45°기울어진 것으로 추정한다(740). However, | C _v | is determined by subtracting the value is not greater than Th, is the value obtained by multiplying C _h and C _v a positive number (705) | in | C _h. If the value multiplied by C _h and C _v is a positive value, it is assumed that the direction of the boundary is tilted by 45 ° as shown in FIG. 8D (740).

그러나, C_v와 C_h를 승산한 값이 양수가 아니면, 경계의 방향을 도 8e에 도시된 바와 같이 135°기울어진 것으로 추정한다(706). However, if the value obtained by multiplying C _v and C _h is not positive, the direction of the boundary is estimated to be 135 ° as shown in FIG. 8E (706).

상기한 도 7의 방법의 각 단계는 부 영상들 각각에 대해 수행되어, 즉 블럭 기반으로 수행되어 모든 부 영상들 각각에 대한 경계의 영역 및 경계의 방향이 추정된다(503).Each step of the method of FIG. 7 is performed on each of the sub-images, that is, on a block basis to estimate the area of the boundary and the direction of the boundary for each of the sub-images (503).

이렇게 입력된 피사체의 영상에 대한 경계 영역 및 경계 방향이 검출되면, 계단함수응답 산출수단(230)는 검출된 경계에 직각방향으로 배열된 화소들의 계단 함수응답을 산출한다(504). When the boundary region and the boundary direction of the input image are detected, the step function response calculating unit 230 calculates the step function response of the pixels arranged in the direction perpendicular to the detected boundary (504).

도 9 및 10은 반지름(r) 3을 갖는 점확산함수 및 계단함수응답을 설명하기 위한 도면으로서, 도 9는 2차원 원형의 점 확산 함수를 나타내고, 도 10은 해당하는 1차원 계단함수응답의 일 예를 도시한 것으로, 횡축은 경계 방향에 직각인 화소들의 변위를 나타낸 것이고, 종축은 휘도의 레벨을 나타낸 것이다.9 and 10 are diagrams for explaining a point spread function and a step function response having a radius r, FIG. 9 shows a two-dimensional circular point diffusion function, and FIG. 10 shows a corresponding one-dimensional step function response. As an example, the horizontal axis represents the displacement of pixels perpendicular to the boundary direction, and the vertical axis represents the level of luminance.

계단함수응답을 구할 때, 각 경계 방향에 대하여 직각인 화소의 열 하나에 대해서만 계단함수 응답만을 구하여 이를 대표값으로 사용하여도 되지만, 계단함수응답의 기초가 된 영역이 특히 노이즈가 심한 경우에는 적절하지 않은 결과가 산출될 수도 있으므로, 이러한 노이즈에 의한 영향을 최소화시키기 위해서는 동일한 경계 방향에 직각인 화소열들 중 복수개의 화소열, 바람직하게는 모든 화소열의 계단함수응답을 평균한 평균계단함수응답을 이용하는 것이 바람직하다.When calculating the step function response, only the step function response may be obtained and used as a representative value for only one column of pixels perpendicular to each boundary direction, but it is appropriate when the area on which the step function response is based is particularly noisy. In order to minimize the effect of the noise, the average step function response is obtained by averaging the step function responses of a plurality of pixel columns, preferably all pixel columns, perpendicular to the same boundary direction. It is preferable to use.

검출된 경계의 방향과 직각 방향으로 존재하는 계단함수 응답을 S_A(n)이라고 할 때, 이 계단함수응답의 평균은 다음 [수학식 11]과 같이 구해진다.When the step function response present in the direction perpendicular to the detected boundary is S _A (n), the average of the step function response is obtained as shown in Equation 11 below.

여기서, E는 검출된 경계 방향의 집합을 나타내고, Z은 계단함수응답의 평균을 구하기 위해 사용된 계단함수응답[S_A(n)]의 수를 의미하고, A는 경계방향에 직각인 화소열들의 집합을 나타내고, n은 경계방향에 직각인 화소열들의 집합 중에서 각 화소의 변위를 나타내는 것으로 도 10에서 횡축을 나타낸다.Here, E represents a set of detected boundary directions, Z represents the number of step function responses [S _A (n)] used to average the step function responses, and A is a pixel column perpendicular to the boundary direction. N represents the displacement of each pixel among the set of pixel columns perpendicular to the boundary direction, and represents the horizontal axis in FIG. 10.

여기서, 평균 계단 함수 응답은 도 9에 도시된 횡축으로 2r+1 만큼의 동안 나타나게 된다. Here, the average step function response appears as much as 2r + 1 on the horizontal axis shown in FIG.

계단함수응답을 산출한 후에는 점확산함수 산출수단(240)은 이 값을 이용하여 각 화소에서의 점확산함수값을 산출한다(505).After calculating the step function response, the point spreading function calculating means 240 calculates the point spreading function value in each pixel using this value (505).

본 발명에서 점확산함수를 산출하기 위해서는 하나의 가정이 필요하다. 입력된 영상에서 초점이 흐린 정도가 확산원(COC: Circle of Confusion)의 모양을 따라 균일하게 분포하고 이것이 입력 영상의 모든 영역에 대하여 불변해야 한다는 것이다.In the present invention, one assumption is required to calculate the point spread function. The degree of blurring in the input image is uniformly distributed along the shape of the circle of confusion (COC), which must be constant for all areas of the input image.

여기서, COC에 대해 잠시 살펴보면, 초점이 맞지 않는 영상의 흐림 현상은 피사체와 촬상면과의 거리가 적절하지 않을 때 발생하며 이것은 피사체 표면의 한 점이 촬상면의 한 점 즉, 초점의 위치에 대응되지 않고 확산되기 때문이다. 이 확산은 점광원이 원의 형태로 투영되는 현상으로 근사 될 수 있으며, 이 원을 확산원이라 한다. 그리고, 이 확산원은 영상 처리 시스템을 통과한 영상이 정확한 초점거리에 위치하고 있지 않을 때 발생하며, 점광원이 초점 거리의 앞 또는 뒤에 있을 때 확산원의 형태로 투영된다. 초점이 맞지 않아서 영상이 흐려지면, 영상을 주파수 영역에서 해석했을 때 저역 성분이 두드러진다. 그러므로, 초점이 맞지 않는 영상의 흐림 정도는 고주파 성분의 크기로서 알 수 있다. 이 고주파 성분의 크기는 고역 통과 필터를 통과한 열화된 영상의 분산값으로 볼 수 있다. 즉, 필터링된 고주파 성분의 분산이 클수록 영상의 흐림 정도가 적다. 실제로 종래의 많은 디지털 초점 조절 장치에서는 초점이 맞지 않아서 생기는 영상의 흐림은 적당한 분산값을 가지는 2차원의 가우시안 함수로 모델링된다.Here, if we look at the COC for a while, blurring of an unfocused image occurs when the distance between the subject and the image pickup surface is not appropriate, and a point on the surface of the subject diffuses without being corresponding to a point on the image surface, that is, the focus position. Because it becomes. This diffusion can be approximated by the phenomenon that a point light source is projected in the form of a circle, which is called a diffusion source. This diffusion source occurs when the image passing through the image processing system is not located at the correct focal length, and is projected in the form of a diffusion source when the point light source is in front of or behind the focal length. If the image is blurred due to out of focus, the low range is noticeable when the image is interpreted in the frequency domain. Therefore, the blurring degree of the out of focus image can be known as the magnitude of the high frequency component. The magnitude of this high frequency component can be seen as the variance of the degraded image passing through the high pass filter. That is, the greater the dispersion of the filtered high frequency components, the less the blurring of the image. In fact, in many conventional digital focusing apparatuses, the blur of an image resulting from out of focus is modeled as a two-dimensional Gaussian function having an appropriate dispersion value.

도 9에서 보듯이 원형의 대칭적인 점확산함수의 계수들은 원의 가운데로부터 바깥쪽으로 a₀, a₁,…, a_r이 된다. As shown in Fig. 9, the coefficients of the circular symmetric point spread function are a ₀ , a ₁ ,... , a _r .

본 발명에서 다음의 [수학식 12]와 [수학식 13]을 이용하여 1차원의 평균계단함수응답으로부터 도 9에 도시된 바와 같은 2차원 원형의 대칭적인 점확산함수의 계수들(a₀, a₁,…, a_r)을 구한다.The following [Equation 12] and [Equation 13] a from the average step function response of the one-dimensional two-dimensional symmetrical point factor of the spreading function of the circle as shown in Figure 9, using the present invention (a _0, a ₁ ,…, a _r )

여기서, (m, n)은 점확산함수의 공간적인 좌표를 나타내고, M은

보다 작은 최대의 정수 값을 나타내고, a_M은 수평(수직)축에서 M번째 화소에서 점확산함수의 표본값을 나타낸다. Where (m, n) represents the spatial coordinates of the point spread function, and M is

Represents the largest integer value smaller, and a _M represents the sample value of the point spread function at the M-th pixel on the horizontal (vertical) axis.

한편, a₀, a₁, …, a_r 및 a_mn[=PSF(m, n)]은 각각 가중치로서 0보다 크고 1보다 작은 값을 나타낸다. 도 9에 도시된 바와 같이 a₁₂, a₂₁ 및 a₂₂는 모두 a₁과 a₂ 사이의 값을 나타내고,

이고,

이다.On the other hand, a ₀ , a ₁ ,. , a _r and a _mn [= PSF (m, n)] respectively represent values greater than 0 and less than 1 as weights. As shown in FIG. 9, a ₁₂ , a _21, and a ₂₂ all represent values between a ₁ and a ₂ ,

ego,

to be.

여기서 S(k)는 평균계단함수응답의 k번째 위치에서의 값을 나타내고, N_m은 상기한 점확산함수와 평균계단함수의 응답이 서로 만나는 점의 개수에서 한 개를 빼고 반으로 나눈 값을 나타내며,

보다 작은 최대 정수값으로 나타내어진다.Where S (k) represents the value at the k-th position of the average step function response, and N _m is the value obtained by subtracting one from the number of points where the response of the point spread function and the average step function meet each other and dividing by half Indicates,

It is represented by the smaller maximum integer value.

[수학식 13]에 [수학식 12]를 대입한 후 연립방정식을 풀면, 각 a_M이 구해지고 이 값을 [수학식 12]에 대입하면 점확산함수를 구할 수 있게 된다.Substituting [Equation 12] into [Equation 13] and solving the simultaneous equation, each a _M is obtained and substituting this value into [Equation 12] yields a point diffusion function.

상기한 수학식에서 보듯이, 본 발명에서는 점확산이 반지름 r의 크기로 발생하는 영상에서 점확산의 중심으로부터 상기 경계방향에 직각인 방향으로 m만큼 떨어진 위치의 화소의 계단함수응답 값[S(k)=S(r-m)]은 상기 점확산 중심으로부터 상 기 경계방향에 직각인 방향으로 m+1만큼 떨어진 화소의 계단함수응답 값[S(r-m-1)]과 상기 계단함수응답과 서로 만나는 화소에서의 점확산함수 값을 더한 값[PSF(m, 0)+ 2×{PSF(m, 1) + … + PSF(m, N_m)}]과 같다는 전제를 이용한 방정식을 연산함으로써 점확산함수를 산출하므로, 점확산함수의 산출시 이전의 모든 점확산함수 값, 특히 점확산함수값이 산출되는 화소에 대각선 방향으로 위치한 화소에 의한 영향도 고려할 수 있다는 장점이 있다.As shown in the above equation, in the present invention, the step function response value [S (k) of the pixel at a position perpendicular to the boundary direction from the center of the point spread in the image where the point spread occurs at the radius r. ) = S (rm)] is a pixel that meets the step function response value [S (rm-1)] of the pixel separated by m + 1 in the direction perpendicular to the boundary direction from the point diffusion center and the step function response. Plus point spread function value at [PSF (m, 0) + 2 × {PSF (m, 1) +... + PSF (m, N _m )}]. The point spread function is calculated by calculating an equation based on the premise that it is the same as that of the PSF (m, N _m )}. There is an advantage that the influence by the pixels located in the diagonal direction can also be considered.

각 화소에서의 점확산함수가 산출되면, 영상열화전달함수 산출수단(250)은 이를 이용하여 공간 영역에서 영상 열화 전달함수(h)를 산출한다(506). 공간영역에서의 영상열화전달함수는 다음의 [수학식 14]와 같이 구해진다.When the point diffusion function in each pixel is calculated, the image degradation transfer function calculating unit 250 calculates the image degradation transfer function h in the spatial domain by using the same. The image degradation transfer function in the spatial domain is obtained as shown in Equation 14 below.

여기서, h의 크기는 B×B이고, 행렬의 요소들은 a_k들의 선형적인 조합으로 이루어지며,

는 점 확산 함수 계수들의 총합을 나타낸다. Here, the size of h is B × B, the elements of the matrix is a linear combination of a _k ,

Represents the sum of the point spread function coefficients.

상기한 [수학식 14]를 이용하여 공간영역에서 연산을 수행하여도 무방하지만, 주파수 영역에서 연산을 하는 경우 연산이 좀 더 간단해 지므로 점확산함수의 계수들의 선형 결합으로 이루어진 [수학식 14]의 영상열화전달함수를 퓨리에 변환하기 위해서 다음 [수학식 15]와 같이 변형한다Although the calculation may be performed in the spatial domain using the above Equation 14, since the operation becomes simpler when the calculation is performed in the frequency domain, the linear combination of the coefficients of the point diffusion function is performed. In order to Fourier transform the image degradation transfer function of Equation (15),

[수학식 15]를 이산 퓨리에 변환(DFT: Discrete Fourier Transform)하면 주파수 영역에서 영상열화전달함수 즉, H를 얻는다. Discrete Fourier Transform (DFT) is used to obtain an image degradation transfer function, that is, H in the frequency domain.

영상복원전달함수 산출수단(260)은 이렇게 얻어진 영상열화전달함수(H)를 [수학식 3]에 대입하여 영상복원전달함수(G)를 구한다(507). [수학식 3]에서 필요한 소정 선형 고역 통과 필터 연산자(C'), 라그랑제 곱셈자(λ)등은 미리 영상복원전달함수 산출수단(260)에 저장되어 있거나, 사용자로부터 입력받을 수 있다.The image restoration transfer function calculating unit 260 obtains the image restoration transfer function G by substituting the image degradation transfer function H thus obtained into Equation 3 (507). The predetermined linear high pass filter operator C ′, the Lagrangian multiplier λ, and the like required by Equation 3 may be stored in the image restoration transfer function calculating unit 260 in advance or may be input from a user.

이렇게 얻어진 영상복원전달함수(111)는 영상복원전달함수 저장수단(110)에 저장되게 된다.The image restoration transfer function 111 thus obtained is stored in the image restoration transfer function storage means 110.

상기한 과정을 거쳐서 초점거리를 고정시킨 상태에서 소정 거리에 위치한 피사체의 영상으로부터 영상복원전달함수를 구하고 나면, 다음 거리에 위치한 피사체의 영상으로부터 영상복원전달함수를 구하는 작업을 수행한다(508).After obtaining the image restoration transfer function from the image of the subject located at a predetermined distance with the focal length fixed through the above process, the image restoration transfer function is calculated from the image of the subject located at the next distance (508).

몇 개의 피사체의 영상을 사용할지 여부, 사용되는 피사체의 간격을 어떻게 조절할 것인지 여부, 초점거리를 어떤 값으로 고정할지 여부 및 하나의 초점거리를 고정시킨 상태에서만 영상을 입력받을지 초점거리를 변화시켜가며 영상을 입력받을지 여부는 제작자에 의해 임의로 결정될 수 있지만, 좀 더 많은 입력영상을 이용하여 좀 더 많은 영상복원전달함수(111)를 산출하여 저장하여 두는 경우 보다 더 정밀한 초점 조절을 할 수 있어 바람직할 것이다.By varying the focal length, how many subjects are used, how to adjust the distance between the subjects used, how much the focal length is to be fixed, and whether the image is to be input only when one focal length is fixed. Whether or not to receive an image may be arbitrarily determined by the producer, but it may be desirable to adjust the focus more precisely than to store and store more image restoration transfer function 111 using more input images. will be.

모든 영상복원전달함수(111)에 대한 산출과 저장이 완료되면, 입력된 열화영상에 대한 복원작업을 수행한다.When calculation and storage of all the image restoration transfer function 111 are completed, the restoration operation on the input deteriorated image is performed.

먼저, 입력영상획득수단(120)을 통하여 영상처리 시스템을 통하여 촬영할 영상을 입력받는다(402). First, an image to be photographed through the image processing system is received through the input image acquisition unit 120 (402).

입력된 영상은 입력영상분할수단(130)에 의하여 입력부영상으로 분할될 수 있고, 이렇게 입력된 영상을 분할하는 경우에는 분할된 각 입력부영상마다 별개로 이후의 단계가 진행되도록 하는 것이 바람직하다. 이렇게 입력된 영상을 입력부영상으로 분할하고, 분할된 각각의 입력부영상별로 별개의 독립적인 과정이 진행되도록 하는 경우 보다 정밀한 초점 조절을 할 수 있음은 이미 앞에서 살펴본 바와 같다.The input image may be divided into an input image by the input image dividing means 130. In the case where the input image is divided, it is preferable to perform a subsequent step separately for each input image. As described above, when the input image is divided into the input sub-images and a separate and independent process is performed for each of the divided input sub-images, more precise focusing can be performed.

영상복원전달함수 검출수단(140)은 입력된 영상과 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수(111)를 승산한다(403).The image restoration transfer function detecting unit 140 multiplies the input image with the image restoration transfer function 111 stored in the image restoration transfer function storage unit 110 (403).

영상복원전달함수 검출수단(140)은 영상복원전달함수 저장수단(110)에 저장되어 있는 영상복원전달함수들 중에서 적정한 두 개의 인접한 영상 복원 전달함수를 불러온 후, 주파수 영역상의 영상 복원 전달함수들(G1,G2)을 초점이 맞지 않은 주파수 영역상의 영상신호(Y)에 승산한다. The image restoration transfer function detecting unit 140 calls up two adjacent image restoration transfer functions among the image restoration transfer functions stored in the image restoration transfer function storage unit 110, and then restores the image restoration transfer functions on the frequency domain. (G1, G2) are multiplied by the video signal (Y) on the unfocused frequency domain.

영상복원전달함수 검출수단(140)은 승산하여 얻은 영상의 고주파 성분의 분산을 구하고 두 개의 분산을 비교하여 분산의 크기가 가장 큰 값을 나타내는 영상복원전달함수를 출력영상에 사용될 영상복원전달함수(G)로 검출한다(404).The image restoration transfer function detecting unit 140 obtains the variance of the high frequency components of the image obtained by multiplication, compares the two variances, and compares the two variances with an image restoration transfer function that is used for the output image. G) (404).

이렇게 사용자가 설정한 초점거리 또는 자동초점기능을 이용한 초점거리나 그 밖의 센서에 의해 측정한 피사체까지의 거리 등을 이용하여 영상복원전달함수 검출수단(140)에서 영상복원전달함수(G)의 검출에 사용될 영상복원전달함수가 소정 개수 선택되도록 미리 프로그램하여 두고, 이렇게 선택된 영상복원전달함수를 일차적으로 이용하고, 이렇게 선택된 영상복원전달함수에 의한 출력영상의 고주파 성분이 임계값 이하로 되는 경우에만 다른 영상복원전달함수를 이용하여 최적의 영상복원전달함수가 검출되도록 할 수도 있고, 처음부터 저장되어 있는 영상복원전달함수 전부에 대한 연산을 한 후 그 결과를 이용할 수도 있음은 이미 살펴본 바와 같다.The image restoration transfer function G is detected by the image restoration transfer function detecting unit 140 using the focal length set by the user or the focal length using the autofocus function, or the distance to the subject measured by other sensors. It is programmed in advance so that a predetermined number of image restoration transfer functions to be used are selected, and the selected image restoration transfer function is used first, and only when the high frequency component of the output image by the selected image restoration transfer function falls below a threshold value. As described above, the optimal image restoration transfer function may be detected by using the image restoration transfer function, or the result may be used after calculating all the image restoration transfer functions stored from the beginning.

영상출력수단(150)은 최종적으로 고주파 성분의 분산이 가장 큰 영상 복원 전달함수(H)와 주파수 상의 영상(Y)를 승산한 결과를 역 이산 퓨리에 변환(IDFT: Inverse Discrete Fourier Transform)하여 최종 출력영상을 출력한다(405).The image output unit 150 finally outputs an Inverse Discrete Fourier Transform (IDFT) of a result obtained by multiplying the image restoration transfer function H having the highest dispersion of the high frequency components by the image Y on the frequency. The image is output (405).

도 11a와 도 11b는 각각 본 발명에 의한 디지털 초점 조절을 하기 전의 영상과 한 후의 영상을 도시한 것이다. 도 11b에서 보는 바와 같이, 본 발명의 디지털 초점 조절을 수행함(λ=0.6)으로써 초점이 열화된 영상이 보다 선명한 영상으로 출력되는 것을 볼 수 있다.11A and 11B show images before and after digital focusing, respectively, according to the present invention. As shown in FIG. 11B, by performing the digital focus adjustment of the present invention (λ = 0.6), it can be seen that an image having a deteriorated focus is output as a clearer image.

결국, 전술한 본 발명에 의한 디지탈 초점 조절 방법 및 장치에서는 열화된 특정 계단 영상의 경계 성분을 찾은 다음, 계단함수응답을 분석하여 공간상의 영상 열화시스템(10)을 부화소 단위로 추정하는 새로운 방법을 제시하였다. 이를 위해, 영상의 경계 부분을 먼저 검출해서 계단 함수 응답이 얼마만큼의 경사를 가지고 분포하였는가를 관찰하여 점 확산 함수(h)의 크기와 모양을 추정하고, 추정된 점 확산 함수를 영상 복원 전달함수에 적용하여 메모리에 저장한 후 실제 입력된 초점이 맞지 않은 영상을 복원하고, 복원된 영상의 고주파 성분을 비교하여 가장 큰 값을 가진 영상을 초점이 맞은 영상으로 간주하였다. As a result, in the above-described method and apparatus for digital focusing according to the present invention, a new method of estimating the spatial image degradation system 10 in subpixel units by finding a boundary component of a specific deteriorated stair image and analyzing the step function response is performed. Presented. To do this, we first detect the boundary of the image, observe how much the gradient function response is distributed, and estimate the size and shape of the point spread function (h), and then transfer the estimated point spread function to the image reconstruction transfer function. After the image is saved in the memory, the de-focused image that was actually input is restored, and the image having the largest value is regarded as the focused image by comparing the high-frequency components of the restored image.

전술한 본 발명에 의한 디지탈 초점 조정 방법 및 장치는 컴퓨터 비젼(computer vision), 현미경, 감시 카메라, 비디오 카메라 또는 캠코더(camcoder)등과 같은 영상 처리 시스템에 적용될 수 있다.The digital focusing method and apparatus according to the present invention described above can be applied to an image processing system such as a computer vision, a microscope, a surveillance camera, a video camera or a camcorder.

본 발명의 상기 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The method of the present invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상 설명한 바와 같이, 본 발명에 따르면 초점이 열화된 영상을 렌즈의 구동 없이 부화소 단위로 추정된 영상열화전달함수 및 그로부터 산출된 영상복원전달 함수를 이용하여 빠른 시간 안에 보다 정밀하게 복원하는 것이 가능한 장점이 있다.As described above, according to the present invention, it is possible to more accurately reconstruct a deteriorated image in a short time by using an image degradation transfer function estimated in subpixel units and an image restoration transfer function calculated therefrom without driving a lens. There is an advantage.

Claims

Receiving a plurality of image restoration transfer functions calculated by using an image photographed while varying a distance from a reference object while fixing a focal length;

Receiving an input image;

Calculating a value obtained by multiplying the image restoration transfer function by the input image with respect to at least two of the image restoration transfer function;

Detecting an image restoration transfer function to be used for an output image by using the result of multiplying the input image and the image restoration transfer function; And

And outputting an image obtained by multiplying the detected image restoration transfer function with the input image as an output image.

Storing a plurality of image restoration transfer functions calculated using the captured images while changing both the focal length and the distance between the subject;

Receiving an input image;

The image restoration transfer function according to claim 1 or 2, wherein the detecting of the image restoration transfer function is performed when the high frequency component represents the largest value among the multiplication of the input image and the image restoration transfer function. The digital focus adjustment method characterized in that for determining the image recovery transfer function to be used in the output image.

The method of claim 1 or 2, wherein the digital focusing method

Dividing the input image into a predetermined number of input sub-images;

And detecting the image restoration transfer function and outputting an output image are performed on each of the divided input unit images.

A method for obtaining an image restoration transfer function used for reconstruction of an input image deteriorated by a predetermined deterioration phenomenon in a predetermined image processing system,

(a) acquiring an image of a predetermined subject located at a predetermined distance through the image processing system;

(b) detecting a predetermined boundary region having a length exceeding a predetermined threshold length in the obtained image and a direction of the boundary;

(c) obtaining a step function response of pixels arranged in a direction perpendicular to the boundary;

calculating a point spread function value in each pixel of the subject image by using the step function response;

(e) calculating an image degradation transfer function indicating a degree of degradation of an image of the subject by using the point spread function value; And

(f) calculating an image restoration transfer function for restoring the deteriorated image using the image degradation transfer function; an image restoration transfer function for adjusting the digital focus in an image processing system How to calculate

The method of claim 5, wherein step (b)

(ba) dividing the obtained image of the subject into a predetermined number of sub-images;

(bb) detecting whether the boundary region exists for each of the sub-images; And

(bc) detecting the boundary direction with respect to the sub-image in which the boundary area exists; and calculating an image restoration transfer function for adjusting the digital focus in the image processing system.

6. The image restoration transfer function for adjusting digital focus in an image processing system according to claim 5, wherein the step function response obtained in step (c) is an average of the step function responses of the region where the boundary exists. How to calculate

The method of claim 5, wherein the point spread function value in each pixel is a step function response of a pixel at a position that is m away from the center of the point spread in a direction perpendicular to the boundary direction in the image where the point spread occurs at a radius r. An equation based on the premise that the value is equal to the sum of the step function response of the pixel spaced apart from the point diffusion center by m + 1 in a direction perpendicular to the boundary direction and the point diffusion function value of the pixel meeting the step function response. And calculating an image restoration transfer function for adjusting the digital focus in the image processing system.

7. The image restoration transfer method for controlling digital focus in an image processing system according to claim 6, wherein the steps (c) to (f) are independently performed for each region in which the direction of the boundary indicates the same direction. How to calculate the function.

Image restoring transfer function storage means for storing a plurality of image restoring transfer functions calculated using an image taken while varying a distance from a subject as a reference while fixing a focal length;

Input image acquisition means for receiving an input image;

A value obtained by multiplying the image restoration transfer function and the input image by at least two or more image restoration transfer functions stored in the image restoration transfer function storage means is calculated, and output images are calculated using the calculated results. Image restore transfer function detecting means for detecting an image restore transfer function to be used for the purpose of performing the operation; And

And image output means for outputting an image obtained by multiplying the detected image restoration transfer function with the input image as an output image.

Image restoration transfer function storage means for storing a plurality of image restoration transfer functions calculated using images taken while changing both the focal length and the distance between the subject;

Input image acquisition means for receiving an input image;

The image restoration transfer function of claim 10 or 11, wherein the image restoration transfer function detecting unit outputs an image restoration transfer function used when a high frequency component represents the largest value among the multiplication of the input image and the image restoration transfer function. Digital focusing system, characterized in that determined by the image restoration transfer function to be used in the image.

12. The system of claim 10 or 11, wherein the digital focusing system is

And an input image splitting means for dividing the input image acquired from the input image obtaining means into a predetermined number of input sub-images.

The image restoration transfer function detecting means detects an image restoration transfer function for each of the divided input unit images,

And the image output means outputs an output image by using each of the image restoration transfer functions detected in correspondence with the respective input unit images.

A system for obtaining an image restoration transfer function used for reconstruction of an input image deteriorated by a predetermined deterioration phenomenon in a predetermined image processing system,

Reference image acquisition means for acquiring an image of a predetermined subject located at a predetermined distance through the image processing system;

Boundary detection means for detecting a predetermined boundary region having a length exceeding a predetermined threshold length in the acquired image and a direction of the boundary;

Step function response calculating means for obtaining a step function response of pixels arranged in a direction perpendicular to the boundary;

Point diffusion function calculation means for calculating a point diffusion function value in each pixel of the subject image by using the calculated step function response;

Image degradation transfer function calculating means for calculating an image degradation transfer function indicating a degree of degradation of an image of the subject by using the calculated point spreading function value; And

And an image restoration transfer function calculating means for calculating an image restoration transfer function capable of restoring the deteriorated image by using the calculated image degradation transfer function. A system for calculating an image restoration transfer function.

The method of claim 14, wherein the boundary area detection means

An image division step of dividing the acquired image of the subject into a predetermined number of sub-images;

Sub-image boundary region detection means for detecting whether the boundary region exists for each of the divided sub-images; And

And a sub-image boundary direction detecting means for detecting the boundary direction with respect to the sub-image in which the boundary region exists. The system for calculating an image restoration transfer function for adjusting the digital focus in an image processing system.

A computer-readable recording medium having recorded thereon a program for realizing the method according to any one of claims 1, 2 and 5 to 9.