KR101056051B1 - Focus Control and Method of Auto Focus System - Google Patents
Focus Control and Method of Auto Focus System Download PDFInfo
- Publication number
- KR101056051B1 KR101056051B1 KR1020090095635A KR20090095635A KR101056051B1 KR 101056051 B1 KR101056051 B1 KR 101056051B1 KR 1020090095635 A KR1020090095635 A KR 1020090095635A KR 20090095635 A KR20090095635 A KR 20090095635A KR 101056051 B1 KR101056051 B1 KR 101056051B1
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- focus
- image
- focal length
- value
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
- G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
- G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
자동 초점 시스템의 초점 조절장치 및 방법이 개시된다. 영상 입력부는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는다. 영상 침식부는 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성한다. 이진영상 생성부는 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성한다. 객체영역 결정부는 복수의 이진 영상프레임에서 화소값이 모두 상위값인 화소들로 구성된 영역을 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정한다. 초점 설정부는 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다. 본 발명에 따르면, 초점거리를 설정하기 위해 초점값을 산출할 때 영상프레임 전체가 아닌 객체가 존재하는 것으로 추정되는 영역만을 대상으로 하여 초점값을 산출하도록 함으로써, 객체가 복잡한 배경 내에 위치할 때에도 정확히 객체 부분에 초점이 맞추어지도록 할 수 있다.Disclosed are an apparatus and method for focusing an auto focus system. The image input unit receives a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of the focus lens. The image erosion unit generates a plurality of erosion image frames by applying an erosion mask to each first image frame. The binary image generator generates a plurality of binary image frames in which an upper value is assigned to a position of a pixel having a difference between pixel values constituting each first image frame and the corresponding eroded image frame equal to or greater than a preset reference value. The object region determiner determines a region composed of pixels of which pixel values are all higher values in a plurality of binary image frames as an object region for calculating a focus value on an image frame photographed using a focus lens. The focus setting unit sets the focal length of the focus lens having the maximum focus value calculated based on the pixel values of the pixels constituting the object area as the optimum focal length for the photographing target area. According to the present invention, when the focus value is calculated to set the focal length, the focus value is calculated only for a region where the object is assumed to exist, not the entire image frame, so that the object is accurately positioned even when the object is located in a complex background. You can make the object part in focus.
Description
본 발명은 자동 초점 시스템의 초점 조절장치 및 방법에 관한 것으로, 보다 상세하게는, 영상프레임 상에서 객체가 위치하는 영역에 카메라의 초점이 일치되도록 하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for adjusting a focus of an auto focusing system, and more particularly, to an apparatus and method for focusing a camera on an area in which an object is positioned on an image frame.
디지털 카메라 및 비디오 카메라와 같은 영상 획득 시스템에 있어서는 자동 초점(Auto-focusing : AF)이 중요한 역할을 한다. 입력 영상에서 주된 객체와 배경이 동일 평면에 존재한다는 가정 하에서, 기존의 자동 초점 시스템은 초점 렌즈의 적절한 위치를 추정할 때 각각의 프레임 또는 필드 내에 주어진 고역 통과 필터로부터 산출된 초점값(Focusing Value : FV)을 기반으로 하는 언덕 오르기 탐색(Hill Climbing Search : HCS) 알고리즘을 사용하였다. 이때 초점값 계산을 위한 다양한 연구들로는 소벨 연산자(Sobel operator), 변형 라플라시안 합(sum-modified Laplacian) 및 주파수 선택 가중 미디언(Frequency Selective Weighted Median : FSWM) 필터를 사용하는 방법들이 있다.Auto-focusing (AF) plays an important role in image acquisition systems such as digital cameras and video cameras. Under the assumption that the main object and the background are in the same plane in the input image, the existing auto focus system estimates the proper position of the focus lens, and the focusing value calculated from the given high pass filter in each frame or field. Hill Climbing Search (HCS) algorithm based on FV) was used. At this time, various studies for focus value calculation include a Sobel operator, a sum-modified Laplacian, and a frequency selective weighted median (FSWM) filter.
그러나 객체와 배경이 동일 평면에 존재한다는 앞의 가정은 2D 카메라를 사 용하여 실제 장면을 획득할 때에는 유지되지 않는다. 특히 배경으로부터 다르게 위치하는 객체 또는 움직이는 객체의 경우에는 기존의 자동 초점 시스템에서 초점이 빗나가는 결과를 초래할 수 있다. 이를 해결하기 위해, 고성능의 DSLR(Digital Single-Lens Reflected) 카메라는 인공지능 서보(servo) 기반의 자동 초점 및 동적인 영역 선택을 채택한다.However, the previous assumption that the object and the background are in the same plane is not retained when acquiring the actual scene using the 2D camera. In particular, objects that are positioned differently from the background or moving objects may result in defocusing in the existing auto focus system. To address this, high-performance Digital Single-Lens Reflected (DSLR) cameras employ AI servo-based autofocus and dynamic area selection.
현존하는 자동 초점 시스템의 또 다른 문제는 배경 영역에 객체 영역보다 더 많은 고주파 성분이 포함되었을 때 배경 영역에 초점이 맞추어진다는 점이다. 이러한 문제를 극복하고, 객체 영역에 정확하게 초점을 맞출 수 있는 자동 초점 시스템이 필요하다.Another problem with existing autofocus systems is that the background area is focused when the background area contains more high frequency components than the object area. There is a need for an autofocus system that overcomes these problems and can accurately focus on the object area.
본 발명이 이루고자 하는 기술적 과제는, 객체가 복잡한 배경 내에 위치하거나 촬영대상영역의 중심에 위치하지 않는 경우에도 객체에 정확히 초점을 맞출 수 있는 자동 초점 시스템의 초점 조절장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an apparatus and method for adjusting the focus of an autofocus system capable of accurately focusing on an object even when the object is located in a complex background or not at the center of the photographing target area.
본 발명이 이루고자 하는 다른 기술적 과제는, 객체가 복잡한 배경 내에 위치하거나 촬영대상영역의 중심에 위치하지 않는 경우에도 객체에 정확히 초점을 맞출 수 있는 자동 초점 시스템의 초점 조절방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is a program for executing a focus control method of an auto focusing system capable of accurately focusing an object even when the object is located in a complex background or not at the center of a photographed area. To provide a computer-readable recording medium for recording the data.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 자동 초점 시스템의 초점 조절장치는, 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는 영상 입력부; 상기 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성하는 영상 침식부; 상기 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성하는 이진영상 생성부; 상기 복수의 이진 영상프레임에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 객체영역 결정부; 및 상기 객체영역을 구성하는 화소들 의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 초점 설정부;를 구비한다.In order to achieve the above technical problem, a focus adjusting apparatus of an auto focusing system according to the present invention includes a plurality of first image frames obtained by photographing a photographing target region at a first photographing interval set in advance according to a focal length of a focus lens. Image input unit for receiving a; An image erosion unit generating a plurality of erosion image frames by applying an erosion mask to each of the first image frames; Binary image generation unit for generating a plurality of binary image frame to which the upper value is given to the position of the pixel that the difference of the pixel value between each of the pixels constituting the first image frame and the erosion image frame corresponding thereto ; An object region determiner which determines an area composed of pixels of which all pixel values are higher in the plurality of binary image frames as an object area for calculating a focus value on an image frame photographed using the focus lens; And a focus setting unit configured to set a focal length of the focus lens at which a focal value calculated based on pixel values of the pixels constituting the object area is the maximum to an optimal focal length for the photographing target area.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 자동 초점 시스템의 초점 조절방법은, (a) 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 제1영상프레임을 입력받는 단계; (b) 상기 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성하는 단계; (c) 상기 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 이진 영상프레임을 생성하는 단계; (d) 현재 입력된 제1영상프레임으로부터 생성된 이진 영상프레임 및 이전에 입력된 제1영상프레임 상에서 화소값이 모두 상기 상위값인 화소들로 구성된 영역을 상기 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정하는 단계; 및 (e) 상기 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 상기 초점렌즈의 초점거리를 상기 촬영대상영역에 대한 최적 초점거리로 설정하는 단계;를 가지며, 상기 제1촬영간격으로 얻어진 복수의 제1영상프레임이 순차적으로 하나씩 입력될 때마다 상기 (a) 단계 내지 상기 (d) 단계를 반복한다.According to another aspect of the present invention, there is provided a method of adjusting a focus of an autofocus system according to an embodiment of the present invention. Receiving an image frame; (b) generating an erosion image frame by applying an erosion mask to the first image frame; (c) generating a binary image frame in which an upper value is assigned to a position of a pixel whose difference between pixel values constituting the first image frame and the corresponding eroded image frame is greater than or equal to a preset reference value; (d) An image frame in which a region consisting of pixels whose pixel values are all higher values on a binary image frame generated from a currently input first image frame and a previously input first image frame is captured using the focus lens. Determining an object area for calculating a focus value on the image; And (e) setting a focal length of the focal lens having a maximum focal value calculated based on pixel values of the pixels constituting the object area as an optimal focal length for the photographing target area. Steps (a) to (d) are repeated whenever a plurality of first image frames obtained at a first shooting interval are sequentially input one by one.
본 발명에 따른 자동 초점 시스템의 초점 조절장치 및 방법에 의하면, 초점거리를 설정하기 위해 초점값을 산출할 때 영상프레임 전체가 아닌 객체가 존재하는 것으로 추정되는 영역만을 대상으로 하여 초점값을 산출하도록 함으로써, 객체 가 복잡한 배경 내에 위치할 때에도 정확히 객체 부분에 초점이 맞추어지도록 할 수 있다.According to the focus adjusting apparatus and method of the auto focus system according to the present invention, when calculating the focus value to set the focus distance, the focus value is calculated only for the region where the object is assumed to exist, not the entire image frame. This ensures that the object is precisely focused even when the object is located in a complex background.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 자동 초점 시스템의 초점 조절장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the focus control apparatus and method of the autofocus system according to the present invention.
도 1은 본 발명에 따른 자동 초점 시스템의 초점 조절장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a preferred embodiment of the focus control apparatus of the autofocus system according to the present invention.
도 1을 참조하면, 본 발명에 따른 초점 조절장치는 영상 입력부(110), 영상 침식부(120), 이진영상 생성부(130), 객체영역 결정부(140) 및 초점 설정부(150)를 구비한다.Referring to FIG. 1, the apparatus for adjusting focus according to the present invention includes an
영상 입력부(110)는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제1영상프레임을 입력받는다.The
일반적으로 카메라에 사용되는 초점렌즈는 수십~수백mm의 초점거리를 가진다. 영상 입력부(110)로 입력되는 복수의 제1영상프레임은 촬영대상영역의 촬영을 위해 사용된 초점렌즈의 최단 초점거리로부터 최장 초점거리에 이르기까지 사용자에 의해 설정된 제1촬영간격으로 촬영된 것이다.In general, the focus lens used in the camera has a focal length of several tens to hundreds of mm. The plurality of first image frames input to the
제1촬영간격은 객체영역의 결정을 위해 필요한 제1영상프레임의 수에 따라 적절한 값으로 결정된다. 복수의 제1영상프레임을 촬영할 때 제1촬영간격이 카메라에 입력되어 카메라가 자동으로 일정한 초점거리 간격으로 촬영할 수도 있고, 사용자가 수동으로 일정 초점거리마다 카메라로 촬영대상영역을 촬영할 수도 있다. 제1 영상프레임의 수가 지나치게 많아지면 객체영역 결정의 정확도는 높아지지만 계산량이 증가하게 되므로 수십 프레임 이내의 제1영상프레임이 얻어지도록 제1촬영간격을 설정하는 것이 바람직하다.The first shooting interval is determined to be an appropriate value according to the number of first image frames necessary for determining the object area. When taking a plurality of first image frames, the first shooting interval may be input to the camera so that the camera may automatically shoot at a constant focal length interval, or the user may manually photograph the shooting target area at a predetermined focal length. If the number of first image frames is too large, the accuracy of object region determination is increased, but the amount of calculation is increased. Therefore, it is preferable to set the first shooting interval so that the first image frame within tens of frames is obtained.
영상 침식부(120)는 각각의 제1영상프레임에 침식 마스크를 적용하여 복수의 침식 영상프레임을 생성한다.The
영상의 침식(erosion)이란 영상에 대한 형태학(morphology)적 처리의 하나로서, 일정한 크기의 침식 마스크인 형태소(structuring element)를 사용하여 영상을 축소하는 것이다. 영상의 침식은 다음의 수학식 1과 같이 표현된다.An erosion of an image is one of the morphological processes of an image, which is to reduce an image by using a structuring element, which is an erosion mask of a constant size. The erosion of the image is expressed as in
즉, 영상에 나타난 객체 A와 형태소 B의 평행 이동된 부분의 교집합에 의해 침식된 영상이 얻어지며, 영상에서 외부 돌출부는 감소하고 내부 돌출부는 증가하게 된다. 또한 형태소의 크기가 커짐에 따라 영상의 축소 정도가 커진다. 본 발명에서는 영상이 지나치게 축소되어 객체영역이 부정확하게 결정되는 것을 방지하기 위해 3×3 크기의 형태소를 사용한다.That is, an eroded image is obtained by the intersection of the parallel shifted portions of the object A and the stem B shown in the image, and the outer protrusion is reduced and the inner protrusion is increased in the image. In addition, as the size of the morpheme increases, the degree of reduction of the image increases. In the present invention, a 3x3 sized morpheme is used to prevent the image from being excessively reduced and the object region is incorrectly determined.
영상 침식부(120)는 제1촬영간격으로 촬영된 복수의 제1영상프레임이 영상입력부(110)로 순차적으로 입력됨과 동시에 제1영상프레임에 침식 마스크를 적용하여 축소된 영상인 침식 영상프레임을 생성한다. 이와 같이 제1영상프레임이 입력될 때마다 즉시 침식 영상프레임을 생성하면 모든 제1영상프레임이 입력된 후에 영상의 침식 과정을 수행하는 것에 비해 처리속도를 빠르게 할 수 있다.The
이진영상 생성부(130)는 각각의 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소 간의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 복수의 이진 영상프레임을 생성한다.The binary
이진 영상프레임은 각 화소의 값이 1 또는 0인 영상프레임으로, 제1영상프레임과 침식 영상프레임 사이의 화소값의 차를 기초로 생성된다. 따라서 본 발명에서의 '상위값'은 1 또는 0의 값으로 결정된다. 이하에서는 상위값이 1로 결정된 경우에 본 발명의 실시예에 관하여 설명한다. 이진 영상프레임을 구성하는 각 화소의 화소값은 다음의 수학식 2에 의해 결정된다.The binary image frame is an image frame having a value of 1 or 0 of each pixel, and is generated based on a difference in pixel values between the first image frame and the eroded image frame. Therefore, the 'high value' in the present invention is determined as a value of 1 or 0. Hereinafter, an embodiment of the present invention will be described when the upper value is determined to be 1. The pixel value of each pixel constituting the binary image frame is determined by the following equation.
여기서, Si(x,y)는 복수의 제1영상프레임 중에서 i번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y) 위치의 화소값, gi(x,y)는 i번째 제1영상프레임에서 (x,y) 위치의 화소값, B는 제1영상프레임에 적용되는 침식 마스크, 그리고 T는 기준값으로서 실험적으로 결정된다.Here, S i (x, y) is a pixel value at position (x, y) in a binary image frame generated corresponding to an i th first image frame among a plurality of first image frames, and g i (x, y) is The pixel value at position (x, y) in the i-th first image frame, B is an erosion mask applied to the first image frame, and T is experimentally determined as a reference value.
침식 영상프레임은 제1영상프레임으로부터 축소된 영상이므로, 제1영상프레임과 침식 영상프레임의 화소값의 차로 얻어진 이진 영상프레임에는 제1영상프레임에 포함된 객체의 경계선이 나타나게 된다. 즉, 이진 영상프레임에서 화소값이 1인 화소들은 객체의 경계선, 즉 제1영상프레임의 고주파 성분을 나타내는 것이다.Since the eroded image frame is a reduced image from the first image frame, the boundary line of the object included in the first image frame appears in the binary image frame obtained by the difference between the pixel value of the first image frame and the eroded image frame. That is, pixels having a pixel value of 1 in a binary image frame represent a boundary line of an object, that is, a high frequency component of the first image frame.
초점이 빗나간 영상프레임은 초점이 맞은 영상프레임에 비해 적은 고주파 성분을 가지므로 초점이 잘 맞은 영상프레임으로부터 생성된 이진 영상프레임에는 화소값이 1인 화소가 더 많이 포함되어 있다. 또한 초점렌즈가 뒤에서 앞으로 이동할 때 초점위치는 촬영대상영역에서 앞쪽에 위치하는 객체 부분으로부터 뒤쪽에 위치하는 배경 부분으로 이동하게 된다. 따라서 초점렌즈의 초점거리에 따라 촬영된 복수의 제1영상프레임에 각각 대응하여 생성된 이진 영상프레임에서 화소값의 1인 화소는 객체 부분에 해당하는 영역으로부터 배경 부분에 해당하는 영역을 향하여 증가한다.Since the defocused image frame has fewer high frequency components than the focused image frame, the binary image frame generated from the well-focused image frame includes more pixels having a pixel value of 1. In addition, when the focus lens is moved from the rear to the front, the focus position is moved from the object part located in front of the photographed area to the background part located behind. Therefore, in the binary image frame generated corresponding to each of the plurality of first image frames photographed according to the focal length of the focus lens, the pixel having 1 of the pixel value increases from the region corresponding to the object portion toward the region corresponding to the background portion. .
한편, 영상 침식부(120)가 영상 입력부(110)로 복수의 제1영상프레임이 순차적으로 입력됨과 동시에 제1영상프레임에 대응하는 침식 영상프레임을 생성하는 것과 마찬가지로, 이진영상 생성부(130) 역시 현재 입력된 제1영상프레임에 대응하는 침식 영상프레임이 생성되면 즉시 두 영상프레임으로부터 현재 입력된 제1영상프레임에 대응하는 이진 영상프레임을 생성할 수 있다. 그 결과 복수의 제1영상프레임의 입력이 완료됨과 거의 동시에 복수의 이진 영상프레임의 생성 과정도 완료될 수 있어 처리과정을 신속하게 진행할 수 있다.Meanwhile, as the
객체영역 결정부(140)는 복수의 이진 영상프레임에서 화소값이 모두 상위값인 화소들로 구성된 영역을 초점렌즈를 사용하여 촬영한 영상프레임 상에서 초점값을 산출하기 위한 객체영역으로 결정한다.The object region determiner 140 determines a region composed of pixels of which pixel values are all higher values in a plurality of binary image frames as an object region for calculating a focus value on an image frame photographed using a focus lens.
촬영대상영역에서 객체가 배경에 비해 앞쪽, 즉 초점렌즈에 가까운 쪽에 위치하므로 복수의 제1영상프레임에서 객체 부분에 해당하는 영역의 고주파 성분이 더 강하게 나타난다. 그 결과 대부분의 이진 영상프레임에서 객체 부분에 해당하는 영역에 화소값이 상위값, 즉 1인 화소가 많이 위치하게 된다.Since the object is positioned in front of the object, that is, closer to the focal lens, the high frequency component of the region corresponding to the object part in the plurality of first image frames is stronger than the background. As a result, in most binary image frames, a pixel having a higher pixel value, that is, 1, is located in a region corresponding to an object part.
객체영역 결정부(140)는 이와 같이 복수의 이진 영상프레임에 걸쳐 화소값이 계속하여 1로 유지되는 화소를 추출하여 그러한 화소들로 이루어진 영역을 초점렌즈의 초점을 맞추기 위한 객체영역으로 결정한다. 즉, 복수의 이진 영상프레임에 대해 곱셈 연산자인 AND 연산자를 적용함으로써 화소값이 계속 1로 유지되는 화소를 선택하는 것이다. 세 개의 제1영상프레임이 입력된 경우를 예로 들면, 객체영역을 구성하는 각 화소의 화소값은 다음의 수학식 3과 같이 얻어진다.The object region determiner 140 extracts a pixel in which the pixel value remains 1 over a plurality of binary image frames in this way and determines the region composed of the pixels as an object region for focusing the focus lens. That is, by applying an AND operator, which is a multiplication operator, to a plurality of binary image frames, the pixel in which the pixel value remains 1 is selected. For example, when three first image frames are input, the pixel value of each pixel constituting the object region is obtained as in
여기서 P(x,y)는 객체영역에서 (x,y)의 위치에 해당하는 화소의 화소값, Si -1(x,y)는 i-1번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값, Si(x,y)는 i번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값, 그리고 Si + 1(x,y)는 i+1번째 제1영상프레임에 대응하여 생성된 이진 영상프레임에서 (x,y)의 위치에 해당하는 화소의 화소값이다.Where P (x, y) is the pixel value of the pixel corresponding to the position of (x, y) in the object region, and S i -1 (x, y) is a binary generated corresponding to the i-th first image frame The pixel value of the pixel corresponding to the position of (x, y) in the image frame, S i (x, y), corresponds to the position of (x, y) in the binary image frame generated corresponding to the i th first image frame. The pixel value of the pixel and S i + 1 (x, y) are pixel values of the pixel corresponding to the position of (x, y) in the binary image frame generated corresponding to the i + 1 th first image frame.
수학식 3으로부터, 화소값이 1로 결정된 화소로 이루어진 영역이 객체영역으로 결정된다는 것을 확인할 수 있다.From
이와 같이 복수의 이진 영상프레임 상에서 화소값이 계속하여 1로 유지되는 화소를 선택하게 되면, 선택된 화소는 객체 부분에 해당하는 화소일 가능성이 높으므로 배경 부분에 고주파 성분이 많이 포함되어 있고 객체가 영상프레임의 중심에 위치하지 않는 경우에도 실제 객체가 위치하는 부분을 초점이 맞추어질 영역으로 정확하게 결정할 수 있다.As such, when a pixel in which a pixel value is continuously maintained at 1 on a plurality of binary image frames is selected, the selected pixel is likely to be a pixel corresponding to an object part, and thus a high frequency component is included in the background part and the object is an image. Even if it is not located in the center of the frame, it is possible to determine exactly where the actual object is located as the area to be focused.
객체영역 결정부(140)는 이진영상 생성부(130)에 의한 복수의 이진 영상프레임의 생성이 모두 완료되면 복수의 이진 영상프레임에 걸쳐 화소값이 모두 1로 유지되는 화소들을 기초로 객체영역을 결정할 수도 있다. 그러나 앞에서 설명한 바와 같이 복수의 제1영상프레임이 순차적으로 입력됨과 동시에 침식 영상프레임 및 이진 영상프레임이 생성될 수 있다. 따라서 객체영역 결정부(140)도 이진 영상프레임이 순차적으로 생성될 때마다 실시간으로 객체영역을 갱신하고, 모든 제1영상프레임의 입력이 완료되면 즉시 최종적인 객체영역의 결정을 완료할 수 있다.When the generation of the plurality of binary image frames is completed by the binary
도 2는 AND 연산자를 누적적으로 적용하여 객체영역을 결정하는 경우에 대한 일 예를 도시한 도면이다.2 is a diagram illustrating an example of determining an object area by applying an AND operator cumulatively.
도 2에서는 초점렌즈의 위치가 i-1, i 및 i+1일 때 각각 촬영된 세 개의 제1영상프레임(gi -1, gi 및 gi +1)을 이용하여 객체영역을 결정한다. 이때 세 개의 제1영상프레임은 gi -1, gi 및 gi +1의 순서로 순차적으로 영상 입력부(110)에 입력된다. 영상 침식부(120)는 각각의 제1영상프레임이 입력될 때마다 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성한다. 다음으로 이진영상 생성부는 제1영 상프레임 및 그로부터 생성된 침식 영상프레임의 차영상을 구하고 이진화하여 각각의 제1영상프레임에 대응하는 세 개의 이진 영상프레임(Si -1, Si 및 Si +1)을 생성한다.In FIG. 2, an object region is determined using three first image frames g i -1 , g i and g i +1 respectively photographed when the focus lens is positioned at i-1, i and i + 1. . In this case, the three first image frames are sequentially input to the
제1영상프레임이 순차적으로 입력됨과 동시에 침식 영상프레임과 이진 영상프레임이 생성되므로, 객체영역 결정부(140)는 모든 제1영상프레임이 입력되기 전까지는 객체영역을 확정적으로 결정할 수 없다. 그러나 복수의 제1영상프레임이 모두 입력되기까지 대기하여 객체영역을 결정하게 되면 처리속도가 지연되어 결과적으로 카메라의 초점거리를 설정하는 데 오랜 시간이 걸리게 된다.Since the first image frame is sequentially input and the erosion image frame and the binary image frame are generated, the
따라서 객체영역 결정부(140)는 처음 두 개의 제1영상프레임, 즉 gi -1과 gi의 제1영상프레임이 입력되어 그에 대응하는 두 개의 이진 영상프레임(Si -1, Si)이 생성되면 먼저 이들 두 이진 영상 프레임에 대해 AND 연산자를 적용하여 두 이진 영상프레임에서 화소값이 모두 1인 화소들로 이루어진 객체영역을 결정한다. 그러나 이렇게 결정된 객체영역은 확정적인 것이 아니며, 뒤에 순차적으로 이진 영상프레임이 생성될 때마다 지속적으로 갱신된다.Therefore, the
객체영역 결정부(140)는 세 번째로 입력된 제1영상프레임 gi +1로부터 그에 대응하는 이진 영상프레임 Si +1이 생성되면, 앞서 생성된 두 개의 이진 영상프레임(Si -1, Si)으로부터 결정된 객체영역과 세 번째로 생성된 이진 영상프레임 Si+1에 대해 AND 연산자를 적용한다. 그러면 이미 결정되어 있던 객체영역과 새롭게 생성된 이 진 영상프레임에서 모두 화소값이 1인 화소들이 새로운 객체영역으로 결정되어 결과적으로 객체영역이 갱신된다.When the binary image frame S i +1 corresponding to the first image frame g i +1 is generated from the third inputted image frame g i +1, the
이러한 과정을 마지막 제1영상프레임이 입력될 때까지 반복적으로 수행하면 최종적으로 갱신된 객체영역이 해당 촬영대상영역을 초점렌즈로 촬영할 때 초점거리를 설정하기 위해 초점값이 산출되는 객체영역으로 확정되는 것이다. 또한 도 2에 도시된 것과 같은 방법으로 제1영상프레임이 입력될 때마다 객체영역을 갱신함으로써 초점거리를 설정하는 속도가 빨라지게 된다.When this process is repeatedly performed until the last first image frame is input, the finally updated object region is determined as an object region whose focus value is calculated to set a focal length when the corresponding target region is photographed with a focus lens. will be. In addition, as shown in FIG. 2, whenever the first image frame is input, the speed of setting the focal length is increased by updating the object region.
이상에서 설명한 과정에 의해 촬영대상영역을 촬영할 때 초점렌즈의 초점거리 설정의 기초가 되는 초점값을 영상프레임 상에서 산출하기 위한 객체영역이 결정되면, 실제로 결정된 객체영역에서 초점값을 산출하여 초점렌즈의 초점거리를 설정하는 과정이 수행된다.When the object region for calculating the focus value, which is the basis of the focal length setting of the focus lens, is determined on the image frame by capturing the photographing target region by the above-described process, the focus value is calculated from the actually determined object region. The process of setting the focal length is performed.
초점 설정부(150)는 객체영역을 구성하는 화소들의 화소값을 기초로 산출된 초점값이 최대가 되는 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다. 이를 위해 초점 설정부(150)는 초점값 산출부(152) 및 초점거리 설정부(154)를 구비한다.The
초점값 산출부(152)는 영상 입력부(110)로 입력되는 복수의 제2영상프레임 상에서 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 초점값을 산출한다.The
복수의 제2영상프레임은 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 촬영대상영역을 촬영하여 얻어지며, 객체영역을 결정하기 위해 최단 초점 거리로부터 최장 초점거리에 걸쳐 제1촬영간격으로 촬영하여 얻어진 복수의 제1영상프레임과 마찬가지의 방법으로 얻어진다. 제2촬영간격은 제1촬영간격과 동일하게 설정되거나, 복수의 영상프레임으로부터 최대 초점값을 획득할 수 있을 정도의 적절한 간격으로 설정될 수 있다.The plurality of second image frames are obtained by photographing a photographing target area at a preset second shooting interval according to the focal length of the focus lens, and the first shooting interval from the shortest focal length to the longest focal length to determine the object area. It is obtained by the same method as the plurality of first image frames obtained by photographing with the. The second shooting interval may be set to be the same as the first shooting interval, or may be set at an appropriate interval to obtain a maximum focus value from the plurality of image frames.
초점값 산출은 복수의 제2영상프레임 상에서 객체영역 결정부(140)에 의해 결정된 객체영역에 대응하는 영역 내에서 이루어진다. 이때 계산의 편의를 위해 각각의 제2영상프레임에서 객체영역을 포함하는 최소 크기의 사각형 영역을 초점값 산출을 위한 영역으로 결정할 수 있다. 객체영역은 앞에서 설명한 것과 같이 모든 이진 영상프레임에서 화소값이 1인 화소들로 이루어지는 것으로, 그 형태가 항상 사각형으로 나타나지는 않기 때문이다.The focus value calculation is performed in a region corresponding to the object region determined by the
초점값을 산출할 때에는 기존에 알려진 초점값 산출 기법들을 사용할 수 있으며, 바람직하게는 고역 통과 필터의 일종인 라플라시안 필터를 사용하는 변형 라플라시안 합(Sum Modified Laplacian)을 이용할 수 있다. 즉, 객체영역 또는 초점값 산출 영역을 구성하는 각 화소에 대해 수평 및 수직 방향의 이차 미분값에 절대값을 취한 후, 그 절대값의 합을 해당 영역의 초점값으로 결정할 수 있다.When calculating the focus value, conventionally known focus value calculation techniques may be used, and a sum modified Laplacian using a Laplacian filter, which is a kind of a high pass filter, may be used. That is, the absolute value may be taken as the second derivative in the horizontal and vertical directions for each pixel constituting the object region or the focus value calculation region, and then the sum of the absolute values may be determined as the focus value of the corresponding region.
초점거리 설정부(154)는 복수의 제2영상프레임 중에서 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다.The focal
초점값은 영상의 고주파 성분의 강도를 나타내는 것으로, 영상에서 고주파 성분의 강도가 큰 부분이 객체가 위치하는 부분을 나타낸다. 따라서 복수의 제2영 상프레임 중에서 객체영역에 대응하는 영역에 대해 산출된 초점값이 최대인 제2영상프레임이 객체영역에 초점이 맞추어진 영상프레임에 해당한다. 각각의 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리는 이미 알고 있는 정보이므로, 초점거리 설정부(154)는 복수의 제2영상프레임에 대해 각각 산출된 초점값을 비교하여 초점값이 최대인 제2영상프레임을 찾으면 된다.The focus value indicates the intensity of the high frequency component of the image, and a portion where the intensity of the high frequency component in the image is large indicates the portion where the object is located. Accordingly, the second image frame having the maximum focus value calculated for the region corresponding to the object region among the plurality of second image frames corresponds to the image frame focused on the object region. Since the focal length of the focus lens when each second image frame is photographed is already known information, the focal
초점값이 최대인 제2영상프레임을 선택할 때, 모든 제2영상프레임이 입력된 후 각각의 제2영상프레임에 대한 초점값을 비교할 수도 있다. 그러나 각각의 제2영상프레임이 순차적으로 입력될 때마다 최대 초점값을 갱신함으로써 모든 제2영상프레임의 입력이 완료됨과 동시에 최대 초점값을 가지는 제2영상프레임을 선택하는 것이 처리의 신속성을 위해 바람직하다. 최대 초점값을 가지는 제2영상프레임이 촬영될 때 초점렌즈의 초점거리는 촬영대상영역을 촬영하기 위한 최적 초점거리로 설정되며, 이후 최적 초점거리로 설정된 초점렌즈를 사용하여 촬영대상영역을 촬영하여 생성된 이미지를 출력하게 된다.When the second image frame having the maximum focus value is selected, the focus values for each second image frame may be compared after all the second image frames are input. However, it is preferable for the speed of processing to select the second image frame having the maximum focus value at the same time that the input of all the second image frames is completed by updating the maximum focus value whenever each second image frame is sequentially input. Do. When the second image frame having the maximum focus value is photographed, the focal length of the focus lens is set to an optimal focal length for capturing a photographing target region, and is then generated by capturing a photographing subject region using the focal lens set as the optimal focal length. Will print the image.
초점거리 설정을 위한 기존의 방법들에서는 영상 전체를 구성하는 화소들을 대상으로 초점값을 산출하여 초점거리를 설정하였으므로 배경 부분에 객체 부분보다 강한 고주파 성분이 포함되어 있는 경우에는 초점이 배경 부분에 맞춰지도록 초점거리가 설정되는 경우가 발생한다. 그러나 본 발명에서와 같이 초점값 산출을 위한 영역을 미리 결정하고, 결정된 영역에 대해 산출된 초점값만을 비교하여 최적 초점거리를 설정함으로써, 객체가 위치하는 부분에 정확히 초점이 맞춰진 영상을 얻을 수 있다.In the conventional methods for setting the focal length, the focal length is set by calculating a focal value for the pixels constituting the entire image, so that when the background part contains a high frequency component that is stronger than the object part, the focal point is adjusted to the background part. It happens that the focal length is set to lose. However, as in the present invention, by determining an area for calculating a focus value in advance and setting only an optimum focal length by comparing only the calculated focus value with respect to the determined area, an image in which the object is accurately focused can be obtained. .
도 3은 본 발명에 따른 자동 초점 시스템의 초점 조절방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.3 is a flowchart illustrating a preferred embodiment of the method for adjusting the focus of the auto focus system according to the present invention.
도 3을 참조하면, 영상 입력부(110)는 초점렌즈의 초점거리에 따라 사전에 설정된 제1촬영간격으로 촬영대상영역을 촬영하여 얻어진 제1영상프레임을 입력받는다(S310). 영상 침식부(120)는 각각의 제1영상프레임에 침식 마스크를 적용하여 침식 영상프레임을 생성한다(S320). 다음으로 이진영상 생성부(130)는 제1영상프레임 및 그에 대응하는 침식 영상프레임을 구성하는 각 화소의 화소값의 차가 사전에 설정된 기준값 이상인 화소의 위치에 상위값이 부여되는 이진 영상프레임을 생성한다(S330).Referring to FIG. 3, the
객체영역 결정부(140)는 이미 결정된 객체영역이 존재하지 않는 경우에는(S320) 현재 생성된 이진 영상프레임에 이르기까지의 복수의 이진 영상프레임 상에서 화소값이 모두 상위값, 즉 1인 화소들로 이루어진 영역을 객체영역으로 결정하여(S350), 초점렌즈를 사용하여 촬영한 영상프레임 상에서 객체영역을 구성하는 화소들을 기초로 초점값이 산출되도록 한다. 또한 객체영역 결정부(140)가 이전에 생성된 이진 영상프레임들을 기초로 결정한 객체영역이 이미 존재하는 경우에는(S320) 해당 객체영역과 현재 생성된 이진 영상프레임에 AND 연산자를 적용하여 객체영역과 현재 생성된 이진 영상프레임에서 화소값이 모두 1인 화소들로 이루어진 새로운 객체영역을 결정함으로써 기존의 객체영역을 갱신한다(S340). 이에 관하여는 앞에서 상세하게 설명하였다.If there is no object region determined previously (S320), the
복수의 제1영상프레임이 모두 입력되면(S360), 다음에는 초점값 산출을 통해 최적 초점거리를 설정하는 과정이 수행된다. 영상 입력부(110)에는 초점렌즈의 초점거리에 따라 사전에 설정된 제2촬영간격으로 촬영대상영역을 촬영하여 얻어진 복수의 제2영상프레임이 순차적으로 입력된다(S370). 초점값 산출부(152)는 각각의 제2영상프레임 상에서 객체영역에 대응하는 영역을 구성하는 화소들의 화소값을 기초로 해당 제2영상프레임의 초점값을 산출한다(S380). 마지막으로 초점거리 설정부(154)는 복수의 제2영상프레임 중에서 객체영역에 대응하는 영역의 초점값이 최대인 제2영상프레임이 촬영될 때의 초점렌즈의 초점거리를 촬영대상영역에 대한 최적 초점거리로 설정한다(S390).When all of the plurality of first image frames are input (S360), a process of setting an optimal focal length through a focus value calculation is then performed. In operation S370, the
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 객체영역 결정의 정확성을 평가하기 위해 복잡한 배경이 포함된 영상프레임을 사용하였다. 도 4는 실험에 사용된 시험 영상프레임을 나타낸 도면이다. 도 4의 두 개의 영상프레임은 모두 640×426화소의 크기이며, 도 4의 (a)의 영상프레임에는 배경에 건물의 창문과 나무가 포함되어 있고, 도 4의 (b)의 영상프레임에는 배경에 건물의 창문만이 포함되어 있다.Experiments were conducted to evaluate the performance of the present invention. In order to evaluate the accuracy of object region decision, we used image frame with complex background. 4 is a diagram illustrating a test image frame used in an experiment. Both video frames of FIG. 4 have a size of 640 × 426 pixels. The video frame of FIG. 4 (a) includes windows and trees of the building in the background, and the background of the video frame of FIG. 4 (b). Contains only the windows of the building.
도 5는 도 4의 각 영상프레임으로부터 결정된 객체영역을 나타낸 도면이다. 도 5의 (a) 및 (b)에서 사각형으로 표시된 부분이 객체영역이 위치하는 부분이다. 두 영상프레임 모두 복잡한 형태의 배경이 포함되어 있음에도 불구하고 객체영역이 실제 객체가 위치하는 부분에 위치하도록 정확하게 결정되었음을 확인할 수 있다.FIG. 5 is a diagram illustrating an object area determined from each image frame of FIG. 4. In FIGS. 5A and 5B, the portions indicated by the rectangles are portions in which the object region is located. Although both image frames contain complex backgrounds, it can be seen that the object area is correctly determined to be located at the part where the actual object is located.
또한 본 발명의 초점거리 설정에 대한 성능은 기존의 초점값 산출방법인 소벨(Sobel) 기법 및 변형 라플라시안 합(SML) 기법과 비교되었다.In addition, the performance of the focal length setting of the present invention was compared with the Sobel method and the modified Laplacian sum (SML) method, which are methods of calculating the focus value.
도 6a는 도 4의 (a)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면이고, 도 6b는 도 4의 (b)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면이다.FIG. 6A illustrates a region focused on the image frame of FIG. 4A compared to a conventional method, and FIG. 6B illustrates a region focused on the image frame of FIG. 4B. It is shown in comparison with the method.
먼저 도 6a를 참조하면, (a)는 본 발명을 사용하여 결정된 객체영역을 기초로 초점거리를 설정하였으므로 앞쪽에 위치한 객체에 정확히 초점이 맞추어져 있다. 그러나 (b) 및 (c)는 기존의 소벨 기법과 SML 기법에 의해 초점거리가 설정되어 촬영된 영상프레임으로, 고주파 성분이 많이 포함된 배경 부분에 초점이 맞추어져 있다. 또한 도 6b를 참조하면, (a)는 본 발명에 의해 초점거리가 설정되어 앞쪽에 위치한 객체에 초점이 맞추어져 있으나, (b) 및 (c)의 영상프레임에서는 배경 부분에 초점이 맞추어져 있다.First, referring to FIG. 6A, since the focal length is set based on the object area determined using the present invention, (a) is precisely focused on the object located in front. However, (b) and (c) are image frames photographed with the focal length set by the existing Sobel and SML techniques, and are focused on the background part including a lot of high frequency components. In addition, referring to FIG. 6B, (a) is focused on the object located in front of the focal length is set according to the present invention, but in the image frame of (b) and (c) is focused on the background portion .
도 6a 및 도 6b로부터, 본 발명은 촬영대상영역에 복잡한 배경이 포함되었거나 객체가 영상프레임의 중심에 위치하지 않는 경우에도 객체가 위치하는 영역에 정확히 초점이 맞도록 초점거리를 설정할 수 있다. 따라서 기존의 기법들에 비해 향상된 성능을 보인다.6A and 6B, the present invention may set a focal length to accurately focus on an area where an object is located even when a complex background is included in the photographing target area or when the object is not located at the center of the image frame. Therefore, the performance is improved compared to the existing techniques.
도 7은 도 4의 (a)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다. 도 7을 참조하면, 배경 부분에 고주파 성분이 많이 포함되어 있기 때문에 기존의 방법들인 소벨 기법과 SML 기법을 사용하면 배경 부분에 초점이 맞추어졌을 때 초점값이 최대이지만, 본 발명은 객체가 위치하는 부분에 해당하는 영역에 대하여만 초점값을 산출하므로 객체 부분에 초점이 맞추어졌을 때 최대의 초점값을 얻을 수 있다.FIG. 7 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4 according to a focal length. Referring to FIG. 7, since a lot of high-frequency components are included in the background part, when using the Sobel and SML methods, which are conventional methods, the focus value is maximum when the background part is focused. Since the focus value is calculated only for the area corresponding to the part, the maximum focus value can be obtained when the object part is focused.
또한 도 8은 도 4의 (b)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다. 도 8을 참조하면, 도 7의 경우와 마찬가지로 기존의 방법들인 소벨 기법과 SML 기법에서는 배경 부분에 초점이 맞추어졌을 때 초점값이 최대이지만 본 발명에서는 객체 부분에 초점이 맞추어졌을 때 초점값이 최대임을 확인할 수 있다.8 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4B according to a focal length. Referring to FIG. 8, as in the case of FIG. 7, the focus values are maximum when the background part is focused in the Sobel method and the SML method, but the focus value is maximum when the object part is focused in the present invention. You can see that.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
도 1은 본 발명에 따른 자동 초점 시스템의 초점 조절장치에 대한 바람직한 실시예의 구성을 도시한 블록도,1 is a block diagram showing the configuration of a preferred embodiment of the focus control apparatus of the autofocus system according to the present invention;
도 2는 AND 연산자를 누적적으로 적용하여 객체영역을 결정하는 경우에 대한 일 예를 도시한 도면,2 is a diagram illustrating an example of determining an object area by applying an AND operator cumulatively;
도 3은 본 발명에 따른 자동 초점 시스템의 초점 조절방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,3 is a flowchart illustrating a process of performing a preferred embodiment of the method for adjusting the focus of the auto focus system according to the present invention;
도 4는 실험에 사용된 시험 영상프레임을 나타낸 도면,4 is a view showing a test image frame used in the experiment,
도 5는 도 4의 각 영상프레임으로부터 결정된 객체영역을 나타낸 도면,5 is a diagram illustrating an object region determined from each image frame of FIG. 4;
도 6a 및 도 6b는 각각 도 4의 (a)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면 및 도 4의 (b)의 영상프레임에 대해 초점이 맞춰진 영역을 기존의 방법과 비교하여 나타낸 도면,6A and 6B illustrate the areas focused on the image frame of FIG. 4A in comparison with the conventional method, and the areas focused on the image frame of FIG. 4B, respectively. Drawing shown in comparison with the method,
도 7은 도 4의 (a)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프, 그리고,FIG. 7 is a graph illustrating a focus value calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4 according to a focal length, and
도 8은 도 4의 (b)의 영상프레임에 포함된 촬영대상영역을 초점거리에 따라 촬영하여 얻어진 복수의 영상프레임에 대해 산출된 초점값을 도시한 그래프이다.FIG. 8 is a graph illustrating focus values calculated for a plurality of image frames obtained by photographing a photographing target region included in the image frame of FIG. 4B according to a focal length.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090095635A KR101056051B1 (en) | 2009-10-08 | 2009-10-08 | Focus Control and Method of Auto Focus System |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090095635A KR101056051B1 (en) | 2009-10-08 | 2009-10-08 | Focus Control and Method of Auto Focus System |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110038373A KR20110038373A (en) | 2011-04-14 |
KR101056051B1 true KR101056051B1 (en) | 2011-08-10 |
Family
ID=44045449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090095635A KR101056051B1 (en) | 2009-10-08 | 2009-10-08 | Focus Control and Method of Auto Focus System |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101056051B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101212802B1 (en) | 2011-03-31 | 2012-12-14 | 한국과학기술연구원 | Method and apparatus for generating image with depth-of-field highlighted |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102007842B1 (en) * | 2013-01-22 | 2019-08-06 | 엘지전자 주식회사 | Digital device and method of identifying an image thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020082564A (en) * | 2001-04-24 | 2002-10-31 | 삼성테크윈 주식회사 | Camera system capable of controlling focus |
KR20050078156A (en) * | 2004-01-31 | 2005-08-04 | 삼성전자주식회사 | Binary image generating method using minority pixel minimum distance location information |
KR100855370B1 (en) | 2007-06-08 | 2008-09-04 | 삼성전기주식회사 | Apparatus and method for controlling auto focusing |
-
2009
- 2009-10-08 KR KR1020090095635A patent/KR101056051B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020082564A (en) * | 2001-04-24 | 2002-10-31 | 삼성테크윈 주식회사 | Camera system capable of controlling focus |
KR20050078156A (en) * | 2004-01-31 | 2005-08-04 | 삼성전자주식회사 | Binary image generating method using minority pixel minimum distance location information |
KR100855370B1 (en) | 2007-06-08 | 2008-09-04 | 삼성전기주식회사 | Apparatus and method for controlling auto focusing |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101212802B1 (en) | 2011-03-31 | 2012-12-14 | 한국과학기술연구원 | Method and apparatus for generating image with depth-of-field highlighted |
Also Published As
Publication number | Publication date |
---|---|
KR20110038373A (en) | 2011-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10917571B2 (en) | Image capture device control based on determination of blur value of objects in images | |
US9858651B2 (en) | Electronic device and method in an electronic device for processing image data | |
JP5635844B2 (en) | Focus adjustment apparatus and imaging apparatus | |
JP6140935B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
US9307134B2 (en) | Automatic setting of zoom, aperture and shutter speed based on scene depth map | |
US9501834B2 (en) | Image capture for later refocusing or focus-manipulation | |
WO2017080237A1 (en) | Camera imaging method and camera device | |
JP6336148B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
KR102049080B1 (en) | Image processing apparatus and method thereof | |
US20160104291A1 (en) | Image refocusing | |
WO2018191070A2 (en) | Optical flow and sensor input based background subtraction in video content | |
JP2017504826A (en) | Image device, method for automatic focusing in an image device, and corresponding computer program | |
KR101025405B1 (en) | Focus controling image generation system and method thereof and image generation apparatus employing the same | |
US9262833B2 (en) | Methodology for performing depth estimation with defocused images under extreme lighting conditions | |
KR101056051B1 (en) | Focus Control and Method of Auto Focus System | |
JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
US9094581B2 (en) | Imaging device and distance information detecting method | |
CN109598195B (en) | Method and device for processing clear face image based on monitoring video | |
US8665349B2 (en) | Method of simulating short depth of field and digital camera using the same | |
Li et al. | Scene-adaptive image acquisition for focus stacking | |
JPH10170817A (en) | Method and device for calculating focal position, and electron microscope using the same | |
CN106713726A (en) | Method and apparatus for recognizing photographing way | |
CN114783041B (en) | Target object recognition method, electronic device, and computer-readable storage medium | |
Tsai et al. | A new auto-focus method based on focal window searching and tracking approach for digital camera | |
US11115582B2 (en) | Imaging control apparatus, imaging apparatus, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20150619 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20170801 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20190110 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20190807 Year of fee payment: 9 |