KR101056051B1 - Focus Control and Method of Auto Focus System - Google Patents

Focus Control and Method of Auto Focus System Download PDF

Info

Publication number
KR101056051B1
KR101056051B1 KR1020090095635A KR20090095635A KR101056051B1 KR 101056051 B1 KR101056051 B1 KR 101056051B1 KR 1020090095635 A KR1020090095635 A KR 1020090095635A KR 20090095635 A KR20090095635 A KR 20090095635A KR 101056051 B1 KR101056051 B1 KR 101056051B1
Authority
KR
South Korea
Prior art keywords
image frame
focus
image
focal length
value
Prior art date
Application number
KR1020090095635A
Other languages
Korean (ko)
Other versions
KR20110038373A (en
Inventor
백준기
임재현
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020090095635A priority Critical patent/KR101056051B1/en
Publication of KR20110038373A publication Critical patent/KR20110038373A/en
Application granted granted Critical
Publication of KR101056051B1 publication Critical patent/KR101056051B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

자동 초점 시스템의 초점 조절장치 및 방법이 개시된다. 영상 입력부는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는다. 영상 침식부는 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성한다. 이진영상 생성부는 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성한다. 객체영역 결정부는 복수의 이진 영상프레임에서 화소값이 모두 상위값인 화소들로 구성된 영역을 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정한다. 초점 설정부는 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다. 본 발명에 따르면, 초점거리를 설정하기 위해 초점값을 산출할 때 영상프레임 전체가 아닌 객체가 존재하는 것으로 추정되는 영역만을 대상으로 하여 초점값을 산출하도록 함으로써, 객체가 복잡한 배경 내에 위치할 때에도 정확히 객체 부분에 초점이 맞추어지도록 할 수 있다.Disclosed are an apparatus and method for focusing an auto focus system. The image input unit receives a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens. The image erosion unit generates a plurality of erosion image frames by applying an erosion mask to each first image frame. The binary image generator generates a plurality of binary image frames in which an upper value is assigned to a position of a pixel having a difference between pixel values constituting each first image frame and the corresponding eroded image frame equal to or greater than a preset reference value. The object region determiner determines a region composed of pixels of which pixel values are all higher values in a plurality of binary image frames as an object region for calculating a focus value on an image frame photographed using a focus lens. The focus setting unit sets the focal length of the focus lens having the maximum focus value calculated based on the pixel values of the pixels constituting the object area as the optimum focal length for the photographing target area. According to the present invention, when the focus value is calculated to set the focal length, the focus value is calculated only for a region where the object is assumed to exist, not the entire image frame, so that the object is accurately positioned even when the object is located in a complex background. You can make the object part in focus.

Description

자동 초점 시스템의 초점 조절장치 및 방법{Apparatus and method for focus control of auto-focusing system}Apparatus and method for focus control of auto-focusing system}

본 발명은 자동 초점 시스템의 초점 조절장치 및 방법에 관한 것으로, 보다 상세하게는, 영상프레임 상에서 객체가 위치하는 영역에 카메라의 초점이 일치되도록 하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for adjusting a focus of an auto focusing system, and more particularly, to an apparatus and method for focusing a camera on an area in which an object is positioned on an image frame.

디지털 카메라 및 비디오 카메라와 같은 영상 획득 시스템에 있어서는 자동 초점(Auto-focusing : AF)이 중요한 역할을 한다. 입력 영상에서 주된 객체와 배경이 동일 평면에 존재한다는 가정 하에서, 기존의 자동 초점 시스템은 초점 렌즈의 적절한 위치를 추정할 때 각각의 프레임 또는 필드 내에 주어진 고역 통과 필터로부터 산출된 초점값(Focusing Value : FV)을 기반으로 하는 언덕 오르기 탐색(Hill Climbing Search : HCS) 알고리즘을 사용하였다. 이때 초점값 계산을 위한 다양한 연구들로는 소벨 연산자(Sobel operator), 변형 라플라시안 합(sum-modified Laplacian) 및 주파수 선택 가중 미디언(Frequency Selective Weighted Median : FSWM) 필터를 사용하는 방법들이 있다.Auto-focusing (AF) plays an important role in image acquisition systems such as digital cameras and video cameras. Under the assumption that the main object and the background are in the same plane in the input image, the existing auto focus system estimates the proper position of the focus lens, and the focusing value calculated from the given high pass filter in each frame or field. Hill Climbing Search (HCS) algorithm based on FV) was used. At this time, various studies for focus value calculation include a Sobel operator, a sum-modified Laplacian, and a frequency selective weighted median (FSWM) filter.

그러나 객체와 배경이 동일 평면에 존재한다는 앞의 가정은 2D 카메라를 사 용하여 실제 장면을 획득할 때에는 유지되지 않는다. 특히 배경으로부터 다르게 위치하는 객체 또는 움직이는 객체의 경우에는 기존의 자동 초점 시스템에서 초점이 빗나가는 결과를 초래할 수 있다. 이를 해결하기 위해, 고성능의 DSLR(Digital Single-Lens Reflected) 카메라는 인공지능 서보(servo) 기반의 자동 초점 및 동적인 영역 선택을 채택한다.However, the previous assumption that the object and the background are in the same plane is not retained when acquiring the actual scene using the 2D camera. In particular, objects that are positioned differently from the background or moving objects may result in defocusing in the existing auto focus system. To address this, high-performance Digital Single-Lens Reflected (DSLR) cameras employ AI servo-based autofocus and dynamic area selection.

현존하는 자동 초점 시스템의 또 다른 문제는 배경 영역에 객체 영역보다 더 많은 고주파 성분이 포함되었을 때 배경 영역에 초점이 맞추어진다는 점이다. 이러한 문제를 극복하고, 객체 영역에 정확하게 초점을 맞출 수 있는 자동 초점 시스템이 필요하다.Another problem with existing autofocus systems is that the background area is focused when the background area contains more high frequency components than the object area. There is a need for an autofocus system that overcomes these problems and can accurately focus on the object area.

본 발명이 이루고자 하는 기술적 과제는, 객체가 복잡한 배경 내에 위치하거나 촬영대상영역의 중심에 위치하지 않는 경우에도 객체에 정확히 초점을 맞출 수 있는 자동 초점 시스템의 초점 조절장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an apparatus and method for adjusting the focus of an autofocus system capable of accurately focusing on an object even when the object is located in a complex background or not at the center of the photographing target area.

본 발명이 이루고자 하는 다른 기술적 과제는, 객체가 복잡한 배경 내에 위치하거나 촬영대상영역의 중심에 위치하지 않는 경우에도 객체에 정확히 초점을 맞출 수 있는 자동 초점 시스템의 초점 조절방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is a program for executing a focus control method of an auto focusing system capable of accurately focusing an object even when the object is located in a complex background or not at the center of a photographed area. To provide a computer-readable recording medium for recording the data.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 자동 초점 시스템의 초점 조절장치는, 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는 영상 입력부; 상기 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성하는 영상 침식부; 상기 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성하는 이진영상 생성부; 상기 복수의 이진 영상프레임에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 객체영역 결정부; 및 상기 객체영역을 구성하는 화소들 의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 초점 설정부;를 구비한다.In order to achieve the above technical problem, a focus adjusting apparatus of an auto focusing system according to the present invention includes a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of a focus lens. Image input unit for receiving a; An image erosion unit generating a plurality of erosion image frames by applying an erosion mask to each of the first image frames; Binary image generation unit for generating a plurality of binary image frame to which the upper value is given to the position of the pixel that the difference of the pixel value between each of the pixels constituting the first image frame and the erosion image frame corresponding thereto ; An object region determiner which determines an area composed of pixels of which all pixel values are higher in the plurality of binary image frames as an object area for calculating a focus value on an image frame photographed using the focus lens; And a focus setting unit configured to set a focal length of the focus lens at which a focal value calculated based on pixel values of the pixels constituting the object area is the maximum to an optimal focal length for the photographing target area.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 자동 초점 시스템의 초점 조절방법은, (a) 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 제1영상프레임을 입력받는 단계; (b) 상기 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성하는 단계; (c) 상기 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 이진 영상프레임을 생성하는 단계; (d) 현재 입력된 제1영상프레임으로부터 생성된 이진 영상프레임 및 이전에 입력된 제1영상프레임 상에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 단계; 및 (e) 상기 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 단계;를 가지며, 상기 제1촬영간격으로 얻어진 복수의 제1영상프레임이 순차적으로 하나씩 입력될 때마다 상기 (a) 단계 내지 상기 (d) 단계를 반복한다.According to another aspect of the present invention, there is provided a method of adjusting a focus of an autofocus system according to an embodiment of the present invention. Receiving an image frame; (b) generating an erosion image frame by applying an erosion mask to the first image frame; (c) generating a binary image frame in which an upper value is assigned to a position of a pixel whose difference between pixel values constituting the first image frame and the corresponding eroded image frame is greater than or equal to a preset reference value; (d) An image frame in which a region consisting of pixels whose pixel values are all higher values on a binary image frame generated from a currently input first image frame and a previously input first image frame is captured using the focus lens. Determining an object area for calculating a focus value on the image; And (e) setting a focal length of the focal lens having a maximum focal value calculated based on pixel values of the pixels constituting the object area as an optimal focal length for the photographing target area. Steps (a) to (d) are repeated whenever a plurality of first image frames obtained at a first shooting interval are sequentially input one by one.

본 발명에 따른 자동 초점 시스템의 초점 조절장치 및 방법에 의하면, 초점거리를 설정하기 위해 초점값을 산출할 때 영상프레임 전체가 아닌 객체가 존재하는 것으로 추정되는 영역만을 대상으로 하여 초점값을 산출하도록 함으로써, 객체 가 복잡한 배경 내에 위치할 때에도 정확히 객체 부분에 초점이 맞추어지도록 할 수 있다.According to the focus adjusting apparatus and method of the auto focus system according to the present invention, when calculating the focus value to set the focus distance, the focus value is calculated only for the region where the object is assumed to exist, not the entire image frame. This ensures that the object is precisely focused even when the object is located in a complex background.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 자동 초점 시스템의 초점 조절장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the focus control apparatus and method of the autofocus system according to the present invention.

도 1은 본 발명에 따른 자동 초점 시스템의 초점 조절장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of the focus control apparatus of the autofocus system according to the present invention.

도 1을 참조하면, 본 발명에 따른 초점 조절장치는 영상 입력부(110), 영상 침식부(120), 이진영상 생성부(130), 객체영역 결정부(140) 및 초점 설정부(150)를 구비한다.Referring to FIG. 1, the apparatus for adjusting focus according to the present invention includes an image input unit 110, an image erosion unit 120, a binary image generation unit 130, an object region determination unit 140, and a focus setting unit 150. Equipped.

영상 입력부(110)는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는다.The image input unit 110 receives a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens.

일반적으로 카메라에 사용되는 초점렌즈는 수십~수백mm의 초점거리를 가진다. 영상 입력부(110)로 입력되는 복수의 제1영상프레임은 촬영대상영역의 촬영을 위해 사용된 초점렌즈의 최단 초점거리로부터 최장 초점거리에 이르기까지 사용자에 의해 설정된 제1촬영간격으로 촬영된 것이다.In general, the focus lens used in the camera has a focal length of several tens to hundreds of mm. The plurality of first image frames input to the image input unit 110 are photographed at a first shooting interval set by a user from the shortest focal length of the focus lens used for capturing the photographing region to the longest focal length.

제1촬영간격은 객체영역의 결정을 위해 필요한 제1영상프레임의 수에 따라 적절한 값으로 결정된다. 복수의 제1영상프레임을 촬영할 때 제1촬영간격이 카메라에 입력되어 카메라가 자동으로 일정한 초점거리 간격으로 촬영할 수도 있고, 사용자가 수동으로 일정 초점거리마다 카메라로 촬영대상영역을 촬영할 수도 있다. 제1 영상프레임의 수가 지나치게 많아지면 객체영역 결정의 정확도는 높아지지만 계산량이 증가하게 되므로 수십 프레임 이내의 제1영상프레임이 얻어지도록 제1촬영간격을 설정하는 것이 바람직하다.The first shooting interval is determined to be an appropriate value according to the number of first image frames necessary for determining the object area. When taking a plurality of first image frames, the first shooting interval may be input to the camera so that the camera may automatically shoot at a constant focal length interval, or the user may manually photograph the shooting target area at a predetermined focal length. If the number of first image frames is too large, the accuracy of object region determination is increased, but the amount of calculation is increased. Therefore, it is preferable to set the first shooting interval so that the first image frame within tens of frames is obtained.

영상 침식부(120)는 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성한다.The image erosion unit 120 generates a plurality of erosion image frames by applying an erosion mask to each first image frame.

영상의 침식(erosion)이란 영상에 대한 형태학(morphology)적 처리의 하나로서, 일정한 크기의 침식 마스크인 형태소(structuring element)를 사용하여 영상을 축소하는 것이다. 영상의 침식은 다음의 수학식 1과 같이 표현된다.An erosion of an image is one of the morphological processes of an image, which is to reduce an image by using a structuring element, which is an erosion mask of a constant size. The erosion of the image is expressed as in Equation 1 below.

Figure 112009061694223-pat00001
Figure 112009061694223-pat00001

즉, 영상에 나타난 객체 A와 형태소 B의 평행 이동된 부분의 교집합에 의해 침식된 영상이 얻어지며, 영상에서 외부 돌출부는 감소하고 내부 돌출부는 증가하게 된다. 또한 형태소의 크기가 커짐에 따라 영상의 축소 정도가 커진다. 본 발명에서는 영상이 지나치게 축소되어 객체영역이 부정확하게 결정되는 것을 방지하기 위해 3×3 크기의 형태소를 사용한다.That is, an eroded image is obtained by the intersection of the parallel shifted portions of the object A and the stem B shown in the image, and the outer protrusion is reduced and the inner protrusion is increased in the image. In addition, as the size of the morpheme increases, the degree of reduction of the image increases. In the present invention, a 3x3 sized morpheme is used to prevent the image from being excessively reduced and the object region is incorrectly determined.

영상 침식부(120)는 제1촬영간격으로 촬영된 복수의 제1영상프레임이 영상입력부(110)로 순차적으로 입력됨과 동시에 제1영상프레임에 침식 마스크를 적용하여 축소된 영상인 침식 영상프레임을 생성한다. 이와 같이 제1영상프레임이 입력될 때마다 즉시 침식 영상프레임을 생성하면 모든 제1영상프레임이 입력된 후에 영상의 침식 과정을 수행하는 것에 비해 처리속도를 빠르게 할 수 있다.The image erosion unit 120 sequentially inputs a plurality of first image frames photographed at a first shooting interval to the image input unit 110 and simultaneously applies an erosion image frame that is a reduced image by applying an erosion mask to the first image frame. Create As such, if an erosion image frame is generated immediately each time the first image frame is input, the processing speed can be increased compared to performing an erosion process of the image after all the first image frames are input.

이진영상 생성부(130)는 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성한다.The binary image generating unit 130 includes a plurality of binary image frames in which upper values are assigned to positions of pixels whose difference between pixel values constituting each first image frame and the corresponding eroded image frame is equal to or greater than a preset reference value. Create

이진 영상프레임은 각 화소의 값이 1 또는 0인 영상프레임으로, 제1영상프레임과 침식 영상프레임 사이의 화소값의 차를 기초로 생성된다. 따라서 본 발명에서의 '상위값'은 1 또는 0의 값으로 결정된다. 이하에서는 상위값이 1로 결정된 경우에 본 발명의 실시예에 관하여 설명한다. 이진 영상프레임을 구성하는 각 화소의 화소값은 다음의 수학식 2에 의해 결정된다.The binary image frame is an image frame having a value of 1 or 0 of each pixel, and is generated based on a difference in pixel values between the first image frame and the eroded image frame. Therefore, the 'high value' in the present invention is determined as a value of 1 or 0. Hereinafter, an embodiment of the present invention will be described when the upper value is determined to be 1. The pixel value of each pixel constituting the binary image frame is determined by the following equation.

Figure 112009061694223-pat00002
Figure 112009061694223-pat00002

여기서, Si(x,y)는 복수의 제1영상프레임 중에서 i번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y) 위치의 화소값, gi(x,y)는 i번째 제1영상프레임에서 (x,y) 위치의 화소값, B는 제1영상프레임에 적용되는 침식 마스크, 그리고 T는 기준값으로서 실험적으로 결정된다.Here, S i (x, y) is a pixel value at position (x, y) in a binary image frame generated corresponding to an i th first image frame among a plurality of first image frames, and g i (x, y) is The pixel value at position (x, y) in the i-th first image frame, B is an erosion mask applied to the first image frame, and T is experimentally determined as a reference value.

침식 영상프레임은 제1영상프레임으로부터 축소된 영상이므로, 제1영상프레임과 침식 영상프레임의 화소값의 차로 얻어진 이진 영상프레임에는 제1영상프레임에 포함된 객체의 경계선이 나타나게 된다. 즉, 이진 영상프레임에서 화소값이 1인 화소들은 객체의 경계선, 즉 제1영상프레임의 고주파 성분을 나타내는 것이다.Since the eroded image frame is a reduced image from the first image frame, the boundary line of the object included in the first image frame appears in the binary image frame obtained by the difference between the pixel value of the first image frame and the eroded image frame. That is, pixels having a pixel value of 1 in a binary image frame represent a boundary line of an object, that is, a high frequency component of the first image frame.

초점이 빗나간 영상프레임은 초점이 맞은 영상프레임에 비해 적은 고주파 성분을 가지므로 초점이 잘 맞은 영상프레임으로부터 생성된 이진 영상프레임에는 화소값이 1인 화소가 더 많이 포함되어 있다. 또한 초점렌즈가 뒤에서 앞으로 이동할 때 초점위치는 촬영대상영역에서 앞쪽에 위치하는 객체 부분으로부터 뒤쪽에 위치하는 배경 부분으로 이동하게 된다. 따라서 초점렌즈의 초점거리에 따라 촬영된 복수의 제1영상프레임에 각각 대응하여 생성된 이진 영상프레임에서 화소값의 1인 화소는 객체 부분에 해당하는 영역으로부터 배경 부분에 해당하는 영역을 향하여 증가한다.Since the defocused image frame has fewer high frequency components than the focused image frame, the binary image frame generated from the well-focused image frame includes more pixels having a pixel value of 1. In addition, when the focus lens is moved from the rear to the front, the focus position is moved from the object part located in front of the photographed area to the background part located behind. Therefore, in the binary image frame generated corresponding to each of the plurality of first image frames photographed according to the focal length of the focus lens, the pixel having 1 of the pixel value increases from the region corresponding to the object portion toward the region corresponding to the background portion. .

한편, 영상 침식부(120)가 영상 입력부(110)로 복수의 제1영상프레임이 순차적으로 입력됨과 동시에 제1영상프레임에 대응하는 침식 영상프레임을 생성하는 것과 마찬가지로, 이진영상 생성부(130) 역시 현재 입력된 제1영상프레임에 대응하는 침식 영상프레임이 생성되면 즉시 두 영상프레임으로부터 현재 입력된 제1영상프레임에 대응하는 이진 영상프레임을 생성할 수 있다. 그 결과 복수의 제1영상프레임의 입력이 완료됨과 거의 동시에 복수의 이진 영상프레임의 생성 과정도 완료될 수 있어 처리과정을 신속하게 진행할 수 있다.Meanwhile, as the image erosion unit 120 sequentially inputs a plurality of first image frames to the image input unit 110 and simultaneously generates an erosion image frame corresponding to the first image frame, the binary image generation unit 130. Also, when an erosion image frame corresponding to the currently input first image frame is generated, a binary image frame corresponding to the currently input first image frame may be immediately generated from two image frames. As a result, the process of generating the plurality of binary image frames can be completed at the same time as the input of the plurality of first image frames is completed, so that the processing can be performed quickly.

객체영역 결정부(140)는 복수의 이진 영상프레임에서 화소값이 모두 상위값인 화소들로 구성된 영역을 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정한다.The object region determiner 140 determines a region composed of pixels of which pixel values are all higher values in a plurality of binary image frames as an object region for calculating a focus value on an image frame photographed using a focus lens.

촬영대상영역에서 객체가 배경에 비해 앞쪽, 즉 초점렌즈에 가까운 쪽에 위치하므로 복수의 제1영상프레임에서 객체 부분에 해당하는 영역의 고주파 성분이 더 강하게 나타난다. 그 결과 대부분의 이진 영상프레임에서 객체 부분에 해당하는 영역에 화소값이 상위값, 즉 1인 화소가 많이 위치하게 된다.Since the object is positioned in front of the object, that is, closer to the focal lens, the high frequency component of the region corresponding to the object part in the plurality of first image frames is stronger than the background. As a result, in most binary image frames, a pixel having a higher pixel value, that is, 1, is located in a region corresponding to an object part.

객체영역 결정부(140)는 이와 같이 복수의 이진 영상프레임에 걸쳐 화소값이 계속하여 1로 유지되는 화소를 추출하여 그러한 화소들로 이루어진 영역을 초점렌즈의 초점을 맞추기 위한 객체영역으로 결정한다. 즉, 복수의 이진 영상프레임에 대해 곱셈 연산자인 AND 연산자를 적용함으로써 화소값이 계속 1로 유지되는 화소를 선택하는 것이다. 세 개의 제1영상프레임이 입력된 경우를 예로 들면, 객체영역을 구성하는 각 화소의 화소값은 다음의 수학식 3과 같이 얻어진다.The object region determiner 140 extracts a pixel in which the pixel value remains 1 over a plurality of binary image frames in this way and determines the region composed of the pixels as an object region for focusing the focus lens. That is, by applying an AND operator, which is a multiplication operator, to a plurality of binary image frames, the pixel in which the pixel value remains 1 is selected. For example, when three first image frames are input, the pixel value of each pixel constituting the object region is obtained as in Equation 3 below.

Figure 112009061694223-pat00003
Figure 112009061694223-pat00003

여기서 P(x,y)는 객체영역에서 (x,y)의 위치에 해당하는 화소의 화소값, Si -1(x,y)는 i-1번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값, Si(x,y)는 i번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값, 그리고 Si + 1(x,y)는 i+1번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값이다.Where P (x, y) is the pixel value of the pixel corresponding to the position of (x, y) in the object region, and S i -1 (x, y) is a binary generated corresponding to the i-th first image frame The pixel value of the pixel corresponding to the position of (x, y) in the image frame, S i (x, y), corresponds to the position of (x, y) in the binary image frame generated corresponding to the i th first image frame. The pixel value of the pixel and S i + 1 (x, y) are pixel values of the pixel corresponding to the position of (x, y) in the binary image frame generated corresponding to the i + 1 th first image frame.

수학식 3으로부터, 화소값이 1로 결정된 화소로 이루어진 영역이 객체영역으로 결정된다는 것을 확인할 수 있다.From Equation 3, it can be seen that an area composed of pixels having a pixel value of 1 is determined as an object area.

이와 같이 복수의 이진 영상프레임 상에서 화소값이 계속하여 1로 유지되는 화소를 선택하게 되면, 선택된 화소는 객체 부분에 해당하는 화소일 가능성이 높으므로 배경 부분에 고주파 성분이 많이 포함되어 있고 객체가 영상프레임의 중심에 위치하지 않는 경우에도 실제 객체가 위치하는 부분을 초점이 맞추어질 영역으로 정확하게 결정할 수 있다.As such, when a pixel in which a pixel value is continuously maintained at 1 on a plurality of binary image frames is selected, the selected pixel is likely to be a pixel corresponding to an object part, and thus a high frequency component is included in the background part and the object is an image. Even if it is not located in the center of the frame, it is possible to determine exactly where the actual object is located as the area to be focused.

객체영역 결정부(140)는 이진영상 생성부(130)에 의한 복수의 이진 영상프레임의 생성이 모두 완료되면 복수의 이진 영상프레임에 걸쳐 화소값이 모두 1로 유지되는 화소들을 기초로 객체영역을 결정할 수도 있다. 그러나 앞에서 설명한 바와 같이 복수의 제1영상프레임이 순차적으로 입력됨과 동시에 침식 영상프레임 및 이진 영상프레임이 생성될 수 있다. 따라서 객체영역 결정부(140)도 이진 영상프레임이 순차적으로 생성될 때마다 실시간으로 객체영역을 갱신하고, 모든 제1영상프레임의 입력이 완료되면 즉시 최종적인 객체영역의 결정을 완료할 수 있다.When the generation of the plurality of binary image frames is completed by the binary image generating unit 130, the object region determination unit 140 selects the object region based on the pixels having all pixel values of 1 across the plurality of binary image frames. You can also decide. However, as described above, a plurality of first image frames may be sequentially input and simultaneously generated erosion image frames and binary image frames. Accordingly, the object region determiner 140 may update the object region in real time whenever binary image frames are sequentially generated, and immediately complete the determination of the final object region when the input of all the first image frames is completed.

도 2는 AND 연산자를 누적적으로 적용하여 객체영역을 결정하는 경우에 대한 일 예를 도시한 도면이다.2 is a diagram illustrating an example of determining an object area by applying an AND operator cumulatively.

도 2에서는 초점렌즈의 위치가 i-1, i 및 i+1일 때 각각 촬영된 세 개의 제1영상프레임(gi -1, gi 및 gi +1)을 이용하여 객체영역을 결정한다. 이때 세 개의 제1영상프레임은 gi -1, gi 및 gi +1의 순서로 순차적으로 영상 입력부(110)에 입력된다. 영상 침식부(120)는 각각의 제1영상프레임이 입력될 때마다 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성한다. 다음으로 이진영상 생성부는 제1영 상프레임 및 그로부터 생성된 침식 영상프레임의 차영상을 구하고 이진화하여 각각의 제1영상프레임에 대응하는 세 개의 이진 영상프레임(Si -1, Si 및 Si +1)을 생성한다.In FIG. 2, an object region is determined using three first image frames g i -1 , g i and g i +1 respectively photographed when the focus lens is positioned at i-1, i and i + 1. . In this case, the three first image frames are sequentially input to the image input unit 110 in the order of g i -1 , g i, and g i +1 . The image erosion unit 120 generates an erosion image frame by applying an erosion mask to the first image frame whenever each first image frame is input. Next, the binary image generating unit obtains and binarizes the difference image of the first image frame and the erosion image frame generated therefrom, and then makes three binary image frames S i -1 , S i, and S i corresponding to the first image frames. +1 )

제1영상프레임이 순차적으로 입력됨과 동시에 침식 영상프레임과 이진 영상프레임이 생성되므로, 객체영역 결정부(140)는 모든 제1영상프레임이 입력되기 전까지는 객체영역을 확정적으로 결정할 수 없다. 그러나 복수의 제1영상프레임이 모두 입력되기까지 대기하여 객체영역을 결정하게 되면 처리속도가 지연되어 결과적으로 카메라의 초점거리를 설정하는 데 오랜 시간이 걸리게 된다.Since the first image frame is sequentially input and the erosion image frame and the binary image frame are generated, the object region determiner 140 cannot determine the object region definitely until all the first image frames are input. However, when the object area is determined by waiting for all of the plurality of first image frames to be input, the processing speed is delayed, and as a result, it takes a long time to set the focal length of the camera.

따라서 객체영역 결정부(140)는 처음 두 개의 제1영상프레임, 즉 gi -1과 gi의 제1영상프레임이 입력되어 그에 대응하는 두 개의 이진 영상프레임(Si -1, Si)이 생성되면 먼저 이들 두 이진 영상 프레임에 대해 AND 연산자를 적용하여 두 이진 영상프레임에서 화소값이 모두 1인 화소들로 이루어진 객체영역을 결정한다. 그러나 이렇게 결정된 객체영역은 확정적인 것이 아니며, 뒤에 순차적으로 이진 영상프레임이 생성될 때마다 지속적으로 갱신된다.Therefore, the object region determiner 140 receives the first two first image frames, that is, the first image frames of g i -1 and g i , and corresponds to two binary image frames S i -1 and S i . Is generated, first, an AND operator is applied to these two binary image frames to determine an object region including pixels having pixel values of 1 in both binary image frames. However, the determined object area is not deterministic, and is continuously updated whenever binary image frames are sequentially generated.

객체영역 결정부(140)는 세 번째로 입력된 제1영상프레임 gi +1로부터 그에 대응하는 이진 영상프레임 Si +1이 생성되면, 앞서 생성된 두 개의 이진 영상프레임(Si -1, Si)으로부터 결정된 객체영역과 세 번째로 생성된 이진 영상프레임 Si+1에 대해 AND 연산자를 적용한다. 그러면 이미 결정되어 있던 객체영역과 새롭게 생성된 이 진 영상프레임에서 모두 화소값이 1인 화소들이 새로운 객체영역으로 결정되어 결과적으로 객체영역이 갱신된다.When the binary image frame S i +1 corresponding to the first image frame g i +1 is generated from the third inputted image frame g i +1, the object region determiner 140 generates two binary image frames S i −1 , The AND operator is applied to the object region determined from S i ) and the third generated binary image frame Si + 1. Then, the pixels having the pixel value of 1 are determined as the new object region in both the previously determined object region and the newly created binary image frame, and as a result, the object region is updated.

이러한 과정을 마지막 제1영상프레임이 입력될 때까지 반복적으로 수행하면 최종적으로 갱신된 객체영역이 해당 촬영대상영역을 초점렌즈로 촬영할 때 초점거리를 설정하기 위해 초점값이 산출되는 객체영역으로 확정되는 것이다. 또한 도 2에 도시된 것과 같은 방법으로 제1영상프레임이 입력될 때마다 객체영역을 갱신함으로써 초점거리를 설정하는 속도가 빨라지게 된다.When this process is repeatedly performed until the last first image frame is input, the finally updated object region is determined as an object region whose focus value is calculated to set a focal length when the corresponding target region is photographed with a focus lens. will be. In addition, as shown in FIG. 2, whenever the first image frame is input, the speed of setting the focal length is increased by updating the object region.

이상에서 설명한 과정에 의해 촬영대상영역을 촬영할 때 초점렌즈의 초점거리 설정의 기초가 되는 초점값을 영상프레임 상에서 산출하기 위한 객체영역이 결정되면, 실제로 결정된 객체영역에서 초점값을 산출하여 초점렌즈의 초점거리를 설정하는 과정이 수행된다.When the object region for calculating the focus value, which is the basis of the focal length setting of the focus lens, is determined on the image frame by capturing the photographing target region by the above-described process, the focus value is calculated from the actually determined object region. The process of setting the focal length is performed.

초점 설정부(150)는 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다. 이를 위해 초점 설정부(150)는 초점값 산출부(152) 및 초점거리 설정부(154)를 구비한다.The focus setting unit 150 sets the focal length of the focus lens having the maximum focus value calculated based on the pixel values of the pixels constituting the object area as the optimum focal length for the photographing target area. To this end, the focus setting unit 150 includes a focus value calculating unit 152 and a focal length setting unit 154.

초점값 산출부(152)는 영상 입력부(110)로 입력되는 복수의 제2영상프레임 상에서 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 초점값을 산출한다.The focus value calculator 152 calculates a focus value based on pixel values of pixels constituting a region corresponding to the object region on the plurality of second image frames input to the image input unit 110.

복수의 제2영상프레임은 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 촬영대상영역을 촬영하여 얻어지며, 객체영역을 결정하기 위해 최단 초점 거리로부터 최장 초점거리에 걸쳐 제1촬영간격으로 촬영하여 얻어진 복수의 제1영상프레임과 마찬가지의 방법으로 얻어진다. 제2촬영간격은 제1촬영간격과 동일하게 설정되거나, 복수의 영상프레임으로부터 최대 초점값을 획득할 수 있을 정도의 적절한 간격으로 설정될 수 있다.The plurality of second image frames are obtained by photographing a photographing target area at a preset second shooting interval according to the focal length of the focus lens, and the first shooting interval from the shortest focal length to the longest focal length to determine the object area. It is obtained by the same method as the plurality of first image frames obtained by photographing with the. The second shooting interval may be set to be the same as the first shooting interval, or may be set at an appropriate interval to obtain a maximum focus value from the plurality of image frames.

초점값 산출은 복수의 제2영상프레임 상에서 객체영역 결정부(140)에 의해 결정된 객체영역에 대응하는 영역 내에서 이루어진다. 이때 계산의 편의를 위해 각각의 제2영상프레임에서 객체영역을 포함하는 최소 크기의 사각형 영역을 초점값 산출을 위한 영역으로 결정할 수 있다. 객체영역은 앞에서 설명한 것과 같이 모든 이진 영상프레임에서 화소값이 1인 화소들로 이루어지는 것으로, 그 형태가 항상 사각형으로 나타나지는 않기 때문이다.The focus value calculation is performed in a region corresponding to the object region determined by the object region determiner 140 on the plurality of second image frames. In this case, for convenience of calculation, a rectangular area having a minimum size including an object area in each second image frame may be determined as an area for calculating a focus value. As described above, the object region is composed of pixels having a pixel value of 1 in all binary image frames, and its shape does not always appear as a rectangle.

초점값을 산출할 때에는 기존에 알려진 초점값 산출 기법들을 사용할 수 있으며, 바람직하게는 고역 통과 필터의 일종인 라플라시안 필터를 사용하는 변형 라플라시안 합(Sum Modified Laplacian)을 이용할 수 있다. 즉, 객체영역 또는 초점값 산출 영역을 구성하는 각 화소에 대해 수평 및 수직 방향의 이차 미분값에 절대값을 취한 후, 그 절대값의 합을 해당 영역의 초점값으로 결정할 수 있다.When calculating the focus value, conventionally known focus value calculation techniques may be used, and a sum modified Laplacian using a Laplacian filter, which is a kind of a high pass filter, may be used. That is, the absolute value may be taken as the second derivative in the horizontal and vertical directions for each pixel constituting the object region or the focus value calculation region, and then the sum of the absolute values may be determined as the focus value of the corresponding region.

초점거리 설정부(154)는 복수의 제2영상프레임 중에서 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다.The focal length setting unit 154 may determine the focal length of the focus lens when the second image frame having the maximum focus value of the region corresponding to the object area among the plurality of second image frames is photographed. Set to.

초점값은 영상의 고주파 성분의 강도를 나타내는 것으로, 영상에서 고주파 성분의 강도가 큰 부분이 객체가 위치하는 부분을 나타낸다. 따라서 복수의 제2영 상프레임 중에서 객체영역에 대응하는 영역에 대해 산출된 초점값이 최대인 제2영상프레임이 객체영역에 초점이 맞추어진 영상프레임에 해당한다. 각각의 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리는 이미 알고 있는 정보이므로, 초점거리 설정부(154)는 복수의 제2영상프레임에 대해 각각 산출된 초점값을 비교하여 초점값이 최대인 제2영상프레임을 찾으면 된다.The focus value indicates the intensity of the high frequency component of the image, and a portion where the intensity of the high frequency component in the image is large indicates the portion where the object is located. Accordingly, the second image frame having the maximum focus value calculated for the region corresponding to the object region among the plurality of second image frames corresponds to the image frame focused on the object region. Since the focal length of the focus lens when each second image frame is photographed is already known information, the focal length setting unit 154 compares the calculated focus values with respect to the plurality of second image frames, respectively, to maximize the focus value. Find the second video frame.

초점값이 최대인 제2영상프레임을 선택할 때, 모든 제2영상프레임이 입력된 후 각각의 제2영상프레임에 대한 초점값을 비교할 수도 있다. 그러나 각각의 제2영상프레임이 순차적으로 입력될 때마다 최대 초점값을 갱신함으로써 모든 제2영상프레임의 입력이 완료됨과 동시에 최대 초점값을 가지는 제2영상프레임을 선택하는 것이 처리의 신속성을 위해 바람직하다. 최대 초점값을 가지는 제2영상프레임이 촬영될 때 초점렌즈의 초점거리는 촬영대상영역을 촬영하기 위한 최적 초점거리로 설정되며, 이후 최적 초점거리로 설정된 초점렌즈를 사용하여 촬영대상영역을 촬영하여 생성된 이미지를 출력하게 된다.When the second image frame having the maximum focus value is selected, the focus values for each second image frame may be compared after all the second image frames are input. However, it is preferable for the speed of processing to select the second image frame having the maximum focus value at the same time that the input of all the second image frames is completed by updating the maximum focus value whenever each second image frame is sequentially input. Do. When the second image frame having the maximum focus value is photographed, the focal length of the focus lens is set to an optimal focal length for capturing a photographing target region, and is then generated by capturing a photographing subject region using the focal lens set as the optimal focal length. Will print the image.

초점거리 설정을 위한 기존의 방법들에서는 영상 전체를 구성하는 화소들을 대상으로 초점값을 산출하여 초점거리를 설정하였으므로 배경 부분에 객체 부분보다 강한 고주파 성분이 포함되어 있는 경우에는 초점이 배경 부분에 맞춰지도록 초점거리가 설정되는 경우가 발생한다. 그러나 본 발명에서와 같이 초점값 산출을 위한 영역을 미리 결정하고, 결정된 영역에 대해 산출된 초점값만을 비교하여 최적 초점거리를 설정함으로써, 객체가 위치하는 부분에 정확히 초점이 맞춰진 영상을 얻을 수 있다.In the conventional methods for setting the focal length, the focal length is set by calculating a focal value for the pixels constituting the entire image, so that when the background part contains a high frequency component that is stronger than the object part, the focal point is adjusted to the background part. It happens that the focal length is set to lose. However, as in the present invention, by determining an area for calculating a focus value in advance and setting only an optimum focal length by comparing only the calculated focus value with respect to the determined area, an image in which the object is accurately focused can be obtained. .

도 3은 본 발명에 따른 자동 초점 시스템의 초점 조절방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.3 is a flowchart illustrating a preferred embodiment of the method for adjusting the focus of the auto focus system according to the present invention.

도 3을 참조하면, 영상 입력부(110)는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 제1영상프레임을 입력받는다(S310). 영상 침식부(120)는 각각의 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성한다(S320). 다음으로 이진영상 생성부(130)는 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 이진 영상프레임을 생성한다(S330).Referring to FIG. 3, the image input unit 110 receives a first image frame obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens (S310). The image erosion unit 120 generates an erosion image frame by applying an erosion mask to each first image frame (S320). Next, the binary image generating unit 130 generates a binary image frame in which an upper value is given to a position of a pixel whose difference between pixel values of each pixel constituting the first image frame and the erosion image frame corresponding thereto is equal to or greater than a preset reference value. (S330).

객체영역 결정부(140)는 이미 결정된 객체영역이 존재하지 않는 경우에는(S320) 현재 생성된 이진 영상프레임에 이르기까지의 복수의 이진 영상프레임 상에서 화소값이 모두 상위값, 즉 1인 화소들로 이루어진 영역을 객체영역으로 결정하여(S350), 초점렌즈를 사용하여 촬영한 영상프레임 상에서 객체영역을 구성하는 화소들을 기초로 초점값이 산출되도록 한다. 또한 객체영역 결정부(140)가 이전에 생성된 이진 영상프레임들을 기초로 결정한 객체영역이 이미 존재하는 경우에는(S320) 해당 객체영역과 현재 생성된 이진 영상프레임에 AND 연산자를 적용하여 객체영역과 현재 생성된 이진 영상프레임에서 화소값이 모두 1인 화소들로 이루어진 새로운 객체영역을 결정함으로써 기존의 객체영역을 갱신한다(S340). 이에 관하여는 앞에서 상세하게 설명하였다.If there is no object region determined previously (S320), the object region determiner 140 includes pixels having all upper values, that is, 1s, on the plurality of binary image frames up to the currently generated binary image frame. The region thus formed is determined as an object region (S350), so that a focus value is calculated based on pixels constituting the object region on an image frame photographed using the focus lens. In addition, when the object region determined by the object region determiner 140 based on the previously generated binary image frames already exists (S320), the object region and the object region are applied by applying an AND operator to the corresponding object region and the currently generated binary image frame. The existing object region is updated by determining a new object region including pixels having pixel values of all 1 in the currently generated binary image frame (S340). This has been described in detail above.

복수의 제1영상프레임이 모두 입력되면(S360), 다음에는 초점값 산출을 통해 최적 초점거리를 설정하는 과정이 수행된다. 영상 입력부(110)에는 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제2영상프레임이 순차적으로 입력된다(S370). 초점값 산출부(152)는 각각의 제2영상프레임 상에서 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 해당 제2영상프레임의 초점값을 산출한다(S380). 마지막으로 초점거리 설정부(154)는 복수의 제2영상프레임 중에서 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다(S390).When all of the plurality of first image frames are input (S360), a process of setting an optimal focal length through a focus value calculation is then performed. In operation S370, the image input unit 110 sequentially inputs a plurality of second image frames obtained by photographing a photographing target region at a preset second photographing interval according to the focal length of the focus lens. The focus value calculator 152 calculates a focus value of the second image frame based on pixel values of pixels constituting a region corresponding to the object area on each second image frame (S380). Finally, the focal length setting unit 154 optimizes the focal length of the focus lens when the second image frame in which the focal value of the region corresponding to the object area is the maximum among the plurality of second image frames is captured. The focal length is set (S390).

본 발명의 성능을 평가하기 위한 실험을 수행하였다. 객체영역 결정의 정확성을 평가하기 위해 복잡한 배경이 포함된 영상프레임을 사용하였다. 도 4는 실험에 사용된 시험 영상프레임을 나타낸 도면이다. 도 4의 두 개의 영상프레임은 모두 640×426화소의 크기이며, 도 4의 (a)의 영상프레임에는 배경에 건물의 창문과 나무가 포함되어 있고, 도 4의 (b)의 영상프레임에는 배경에 건물의 창문만이 포함되어 있다.Experiments were conducted to evaluate the performance of the present invention. In order to evaluate the accuracy of object region decision, we used image frame with complex background. 4 is a diagram illustrating a test image frame used in an experiment. Both video frames of FIG. 4 have a size of 640 × 426 pixels. The video frame of FIG. 4 (a) includes windows and trees of the building in the background, and the background of the video frame of FIG. 4 (b). Contains only the windows of the building.

도 5는 도 4의 각 영상프레임으로부터 결정된 객체영역을 나타낸 도면이다. 도 5의 (a) 및 (b)에서 사각형으로 표시된 부분이 객체영역이 위치하는 부분이다. 두 영상프레임 모두 복잡한 형태의 배경이 포함되어 있음에도 불구하고 객체영역이 실제 객체가 위치하는 부분에 위치하도록 정확하게 결정되었음을 확인할 수 있다.FIG. 5 is a diagram illustrating an object area determined from each image frame of FIG. 4. In FIGS. 5A and 5B, the portions indicated by the rectangles are portions in which the object region is located. Although both image frames contain complex backgrounds, it can be seen that the object area is correctly determined to be located at the part where the actual object is located.

또한 본 발명의 초점거리 설정에 대한 성능은 기존의 초점값 산출방법인 소벨(Sobel) 기법 및 변형 라플라시안 합(SML) 기법과 비교되었다.In addition, the performance of the focal length setting of the present invention was compared with the Sobel method and the modified Laplacian sum (SML) method, which are methods of calculating the focus value.

도 6a는 도 4의 (a)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면이고, 도 6b는 도 4의 (b)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면이다.FIG. 6A illustrates a region focused on the image frame of FIG. 4A compared to a conventional method, and FIG. 6B illustrates a region focused on the image frame of FIG. 4B. It is shown in comparison with the method.

먼저 도 6a를 참조하면, (a)는 본 발명을 사용하여 결정된 객체영역을 기초로 초점거리를 설정하였으므로 앞쪽에 위치한 객체에 정확히 초점이 맞추어져 있다. 그러나 (b) 및 (c)는 기존의 소벨 기법과 SML 기법에 의해 초점거리가 설정되어 촬영된 영상프레임으로, 고주파 성분이 많이 포함된 배경 부분에 초점이 맞추어져 있다. 또한 도 6b를 참조하면, (a)는 본 발명에 의해 초점거리가 설정되어 앞쪽에 위치한 객체에 초점이 맞추어져 있으나, (b) 및 (c)의 영상프레임에서는 배경 부분에 초점이 맞추어져 있다.First, referring to FIG. 6A, since the focal length is set based on the object area determined using the present invention, (a) is precisely focused on the object located in front. However, (b) and (c) are image frames photographed with the focal length set by the existing Sobel and SML techniques, and are focused on the background part including a lot of high frequency components. In addition, referring to FIG. 6B, (a) is focused on the object located in front of the focal length is set according to the present invention, but in the image frame of (b) and (c) is focused on the background portion .

도 6a 및 도 6b로부터, 본 발명은 촬영대상영역에 복잡한 배경이 포함되었거나 객체가 영상프레임의 중심에 위치하지 않는 경우에도 객체가 위치하는 영역에 정확히 초점이 맞도록 초점거리를 설정할 수 있다. 따라서 기존의 기법들에 비해 향상된 성능을 보인다.6A and 6B, the present invention may set a focal length to accurately focus on an area where an object is located even when a complex background is included in the photographing target area or when the object is not located at the center of the image frame. Therefore, the performance is improved compared to the existing techniques.

도 7은 도 4의 (a)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다. 도 7을 참조하면, 배경 부분에 고주파 성분이 많이 포함되어 있기 때문에 기존의 방법들인 소벨 기법과 SML 기법을 사용하면 배경 부분에 초점이 맞추어졌을 때 초점값이 최대이지만, 본 발명은 객체가 위치하는 부분에 해당하는 영역에 대하여만 초점값을 산출하므로 객체 부분에 초점이 맞추어졌을 때 최대의 초점값을 얻을 수 있다.FIG. 7 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4 according to a focal length. Referring to FIG. 7, since a lot of high-frequency components are included in the background part, when using the Sobel and SML methods, which are conventional methods, the focus value is maximum when the background part is focused. Since the focus value is calculated only for the area corresponding to the part, the maximum focus value can be obtained when the object part is focused.

또한 도 8은 도 4의 (b)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다. 도 8을 참조하면, 도 7의 경우와 마찬가지로 기존의 방법들인 소벨 기법과 SML 기법에서는 배경 부분에 초점이 맞추어졌을 때 초점값이 최대이지만 본 발명에서는 객체 부분에 초점이 맞추어졌을 때 초점값이 최대임을 확인할 수 있다.8 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4B according to a focal length. Referring to FIG. 8, as in the case of FIG. 7, the focus values are maximum when the background part is focused in the Sobel method and the SML method, but the focus value is maximum when the object part is focused in the present invention. You can see that.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

도 1은 본 발명에 따른 자동 초점 시스템의 초점 조절장치에 대한 바람직한 실시예의 구성을 도시한 블록도,1 is a block diagram showing the configuration of a preferred embodiment of the focus control apparatus of the autofocus system according to the present invention;

도 2는 AND 연산자를 누적적으로 적용하여 객체영역을 결정하는 경우에 대한 일 예를 도시한 도면,2 is a diagram illustrating an example of determining an object area by applying an AND operator cumulatively;

도 3은 본 발명에 따른 자동 초점 시스템의 초점 조절방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,3 is a flowchart illustrating a process of performing a preferred embodiment of the method for adjusting the focus of the auto focus system according to the present invention;

도 4는 실험에 사용된 시험 영상프레임을 나타낸 도면,4 is a view showing a test image frame used in the experiment,

도 5는 도 4의 각 영상프레임으로부터 결정된 객체영역을 나타낸 도면,5 is a diagram illustrating an object region determined from each image frame of FIG. 4;

도 6a 및 도 6b는 각각 도 4의 (a)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면 및 도 4의 (b)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면,6A and 6B illustrate the areas focused on the image frame of FIG. 4A in comparison with the conventional method, and the areas focused on the image frame of FIG. 4B, respectively. Drawing shown in comparison with the method,

도 7은 도 4의 (a)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프, 그리고,FIG. 7 is a graph illustrating a focus value calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4 according to a focal length, and

도 8은 도 4의 (b)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다.FIG. 8 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4B according to a focal length.

Claims (9)

초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는 영상 입력부;An image input unit configured to receive a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens; 상기 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성하는 영상 침식부;An image erosion unit generating a plurality of erosion image frames by applying an erosion mask to each of the first image frames; 상기 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성하는 이진영상 생성부;Binary image generation unit for generating a plurality of binary image frame to which the upper value is given to the position of the pixel that the difference of the pixel value between each of the pixels constituting the first image frame and the erosion image frame corresponding thereto ; 상기 복수의 이진 영상프레임에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 객체영역 결정부; 및An object region determiner which determines an area composed of pixels of which all pixel values are higher in the plurality of binary image frames as an object area for calculating a focus value on an image frame photographed using the focus lens; And 상기 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 초점 설정부;를 포함하는 것을 특징으로 하는 초점 조절장치.And a focus setting unit configured to set a focal length of the focus lens at which a focal value calculated based on pixel values of the pixels constituting the object area is the maximum as an optimal focal length for the photographing target area. Focusing device. 제 1항에 있어서,The method of claim 1, 상기 영상 입력부는 상기 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 상기 촬영대상영역을 촬영하여 얻어진 복수의 제2영상프레임을 입력받으며,The image input unit receives a plurality of second image frames obtained by photographing the photographing target region at a second photographing interval set in advance according to a focal length of the focus lens. 상기 초점 설정부는,The focus setting unit, 상기 복수의 제2영상프레임 상에서 상기 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 초점값을 산출하는 초점값 산출부; 및A focus value calculator configured to calculate a focus value based on pixel values of pixels constituting an area corresponding to the object area on the plurality of second image frames; And 상기 복수의 제2영상프레임 중에서 상기 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 상기 초점렌즈의 초점거리를 상기 최적 초점거리로 설정하는 초점거리 설정부;를 포함하는 것을 특징으로 하는 초점 조절장치.A focal length setting unit configured to set a focal length of the focus lens when the second image frame having the maximum focal value of the region corresponding to the object area is photographed among the plurality of second image frames as the optimum focal length; Focus control device comprising a. 제 2항에 있어서,3. The method of claim 2, 상기 초점값 산출부는 상기 각각의 제2영상프레임에서 상기 객체영역에 대응하는 영역을 구성하는 각 화소에 대하여 산출된 수평 및 수직 방향의 이차 미분값에 대한 절대값의 합을 해당 제2영상프레임의 초점값으로 결정하는 것을 특징으로 하는 초점 조절장치.The focus value calculator is configured to add a sum of absolute values of second and second derivatives in the horizontal and vertical directions calculated for each pixel constituting a region corresponding to the object region in each of the second image frames. Focusing apparatus, characterized in that determined by the focus value. 제 1항 내지 제 3항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상기 영상 입력부는 상기 복수의 제1영상프레임을 순차적으로 입력받으며,The image input unit sequentially receives the plurality of first image frames, 상기 객체영역 결정부는 상기 제1영상프레임이 입력될 때마다 이전에 입력된 복수의 제1영상프레임으로부터 결정된 객체영역과 현재 입력된 제1영상프레임으로부터 생성된 이진 영상프레임에서 화소값이 모두 상기 상위값인 화소들을 기초로 상기 객체영역을 갱신하는 것을 특징으로 하는 초점 조절장치.The object region determiner determines that the pixel values of the object region determined from the plurality of first image frames previously input and the binary image frames generated from the currently input first image frame are higher than each other when the first image frame is input. And updating the object area based on the pixels as values. (a) 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 제1영상프레임을 입력받는 단계;(a) receiving a first image frame obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens; (b) 상기 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성하는 단계;(b) generating an erosion image frame by applying an erosion mask to the first image frame; (c) 상기 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 이진 영상프레임을 생성하는 단계;(c) generating a binary image frame in which an upper value is assigned to a position of a pixel whose difference between pixel values constituting the first image frame and the corresponding eroded image frame is greater than or equal to a preset reference value; (d) 현재 입력된 제1영상프레임으로부터 생성된 이진 영상프레임 및 이전에 입력된 제1영상프레임 상에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 단계; 및(d) An image frame in which a region consisting of pixels whose pixel values are all higher values on a binary image frame generated from a currently input first image frame and a previously input first image frame is captured using the focus lens. Determining an object area for calculating a focus value on the image; And (e) 상기 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 단계;를 포함하되,(e) setting a focal length of the focal lens that maximizes a focal value calculated based on pixel values of pixels constituting the object region as an optimal focal length for the photographing target area; 상기 제1촬영간격으로 얻어진 복수의 제1영상프레임이 순차적으로 하나씩 입력될 때마다 상기 (a) 단계 내지 상기 (d) 단계를 반복하는 것을 특징으로 하는 초점 조절방법.And repeating steps (a) to (d) each time a plurality of first image frames obtained at the first shooting interval are sequentially input one by one. 제 5항에 있어서,The method of claim 5, 상기 (e) 단계는,In step (e), (e1) 상기 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 상기 촬영대상영역을 촬영하여 얻어진 제2영상프레임을 입력받는 단계;(e1) receiving a second image frame obtained by photographing the photographing target region at a second photographing interval set in advance according to a focal length of the focus lens; (e2) 상기 제2영상프레임 상에서 상기 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 초점값을 산출하는 단계; 및(e2) calculating a focus value based on pixel values of pixels constituting an area corresponding to the object area on the second image frame; And (e3) 상기 (e1) 단계 및 상기 (e2) 단계가 반복되어 얻어진 복수의 제2영상프레임 중에서 상기 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 상기 초점렌즈의 초점거리를 상기 최적 초점거리로 설정하는 단계;를 더 포함하는 것을 특징으로 하는 초점 조절방법.(e3) The focus lens when a second image frame having a maximum focus value of a region corresponding to the object region is photographed among a plurality of second image frames obtained by repeating steps (e1) and (e2). And setting a focal length of the focal length to the optimum focal length. 제 6항에 있어서,The method of claim 6, 상기 (e2) 단계에서, 상기 제2영상프레임에서 상기 객체영역에 대응하는 영역을 구성하는 각 화소에 대하여 산출된 수평 및 수직 방향의 이차 미분값에 대한 절대값의 합을 해당 제2영상프레임의 초점값으로 결정하는 것을 특징으로 하는 초점 조절방법.In the step (e2), the sum of the absolute values of the second and second derivatives in the horizontal and vertical directions calculated for each pixel constituting the region corresponding to the object region in the second image frame is calculated. Focusing method characterized in that determined by the focus value. 제 5항 내지 제 7항 중 어느 한 항에 있어서,The method according to any one of claims 5 to 7, 상기 (d) 단계에서, 상기 제1영상프레임이 입력될 때마다 이전에 입력된 복수의 제1영상프레임으로부터 결정된 객체영역과 현재 입력된 제1영상프레임으로부터 생성된 이진 영상프레임에서 화소값이 모두 상기 상위값인 화소들을 기초로 상 기 객체영역을 갱신하는 것을 특징으로 하는 초점 조절방법.In the step (d), every time the first image frame is input, the pixel value of both the object region determined from the plurality of first image frames previously input and the binary image frame generated from the first input image frame are all. And updating the object area based on the upper pixel. 제 5항 내지 제 7항 중 어느 한 항에 기재된 초점 조절방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the focus adjusting method according to any one of claims 5 to 7.
KR1020090095635A 2009-10-08 2009-10-08 Focus Control and Method of Auto Focus System KR101056051B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090095635A KR101056051B1 (en) 2009-10-08 2009-10-08 Focus Control and Method of Auto Focus System

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090095635A KR101056051B1 (en) 2009-10-08 2009-10-08 Focus Control and Method of Auto Focus System

Publications (2)

Publication Number Publication Date
KR20110038373A KR20110038373A (en) 2011-04-14
KR101056051B1 true KR101056051B1 (en) 2011-08-10

Family

ID=44045449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090095635A KR101056051B1 (en) 2009-10-08 2009-10-08 Focus Control and Method of Auto Focus System

Country Status (1)

Country Link
KR (1) KR101056051B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212802B1 (en) 2011-03-31 2012-12-14 한국과학기술연구원 Method and apparatus for generating image with depth-of-field highlighted

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102007842B1 (en) * 2013-01-22 2019-08-06 엘지전자 주식회사 Digital device and method of identifying an image thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020082564A (en) * 2001-04-24 2002-10-31 삼성테크윈 주식회사 Camera system capable of controlling focus
KR20050078156A (en) * 2004-01-31 2005-08-04 삼성전자주식회사 Binary image generating method using minority pixel minimum distance location information
KR100855370B1 (en) 2007-06-08 2008-09-04 삼성전기주식회사 Apparatus and method for controlling auto focusing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020082564A (en) * 2001-04-24 2002-10-31 삼성테크윈 주식회사 Camera system capable of controlling focus
KR20050078156A (en) * 2004-01-31 2005-08-04 삼성전자주식회사 Binary image generating method using minority pixel minimum distance location information
KR100855370B1 (en) 2007-06-08 2008-09-04 삼성전기주식회사 Apparatus and method for controlling auto focusing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101212802B1 (en) 2011-03-31 2012-12-14 한국과학기술연구원 Method and apparatus for generating image with depth-of-field highlighted

Also Published As

Publication number Publication date
KR20110038373A (en) 2011-04-14

Similar Documents

Publication Publication Date Title
US10917571B2 (en) Image capture device control based on determination of blur value of objects in images
US9858651B2 (en) Electronic device and method in an electronic device for processing image data
JP5635844B2 (en) Focus adjustment apparatus and imaging apparatus
JP6140935B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
US9307134B2 (en) Automatic setting of zoom, aperture and shutter speed based on scene depth map
US9501834B2 (en) Image capture for later refocusing or focus-manipulation
WO2017080237A1 (en) Camera imaging method and camera device
JP6336148B2 (en) Image processing apparatus, image processing method, image processing program, and imaging apparatus
KR102049080B1 (en) Image processing apparatus and method thereof
US20160104291A1 (en) Image refocusing
WO2018191070A2 (en) Optical flow and sensor input based background subtraction in video content
JP2017504826A (en) Image device, method for automatic focusing in an image device, and corresponding computer program
KR101025405B1 (en) Focus controling image generation system and method thereof and image generation apparatus employing the same
US9262833B2 (en) Methodology for performing depth estimation with defocused images under extreme lighting conditions
KR101056051B1 (en) Focus Control and Method of Auto Focus System
JP6395429B2 (en) Image processing apparatus, control method thereof, and storage medium
US9094581B2 (en) Imaging device and distance information detecting method
CN109598195B (en) Method and device for processing clear face image based on monitoring video
US8665349B2 (en) Method of simulating short depth of field and digital camera using the same
Li et al. Scene-adaptive image acquisition for focus stacking
JPH10170817A (en) Method and device for calculating focal position, and electron microscope using the same
CN106713726A (en) Method and apparatus for recognizing photographing way
CN114783041B (en) Target object recognition method, electronic device, and computer-readable storage medium
Tsai et al. A new auto-focus method based on focal window searching and tracking approach for digital camera
US11115582B2 (en) Imaging control apparatus, imaging apparatus, and recording medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140701

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150619

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170801

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 9